Полнотекстовый поиск

Область применения: SQL Server База данных SQL Azure Управляемый экземпляр SQL Azure

Полнотекстовый поиск в SQL Server и Базе данных SQL Azure позволяет приложениям и пользователям выполнять полнотекстовые запросы к символьным данным в таблицах SQL Server.

Критические изменения в SQL Server 2025

SQL Server 2025 (17.x) вводит критические изменения в Full-Text поиска.

Дополнительные сведения можно найти здесь

• Серьезные изменения в функциях ядро СУБД в SQL Server 2025
• Обновление полнотекстового индекса

Основные задачи

В этой статье представлен обзор полнотекстового поиска и описаны его компоненты и архитектура. Если вы хотите немедленно приступить к работе, здесь вы найдете простые примеры задач.

• Начало работы с компонентом Full-Text Search
• Создание и управление полнотекстовыми каталогами
• Создание полнотекстовых индексов и управление ими
• Заполнение полнотекстовых индексов
• Запросы с полнотекстовым поиском

Полнотекстовый поиск является необязательным компонентом ядра СУБД SQL Server. Если при установке SQL Server не выбран компонент Full-Text Search, добавьте его позже, повторно запустив программу установки SQL Server.

Обзор

Полнотекстовый индекс включает один или несколько символьных столбцов в таблице. Эти столбцы могут содержать любой из следующих типов данных: char, varchar, nchar, nvarchar, text, ntext, image, xmlили varbinary(max) и FILESTREAM. Каждый полнотекстовый индекс индексирует один или несколько столбцов таблицы, а каждому столбцу может соответствовать определенный язык.

Полнотекстовые запросы выполняют лингвистические поиски по текстовым данным в полнотекстовых индексах, работая с словами и фразами на основе правил определенного языка, таких как английский или японский. Полнотекстовые запросы могут включать простые слова и фразы или несколько форм слова или фразы. Полнотекстовый запрос возвращает все документы, в которых найдено хотя бы одно совпадение (также называемое совпадением). Совпадение возникает в том случае, когда целевой документ содержит все термины, указанные в полнотекстовом запросе, и соответствует всем остальным условиям поиска, например расстояние между совпадающими терминами.

Запросы полнотекстового поиска

После добавления столбцов в полнотекстовый индекс пользователи и приложения могут выполнять полнотекстовые запросы на текст в столбцах. Эти запросы могут выполнять поиск любого из следующих условий:

• Одно или несколько конкретных слов или фраз (простое выражение)
• Слово или фраза, в которых слово или слова начинаются с указанного текста (префиксный термин)
• Словоформы конкретного слова (производное выражение)
• Слово или фраза, расположенные рядом с другим словом или фразой (термин близости)
• Синонимические формы конкретного слова (тезаурус)
• Слова или фразы со взвешенными значениями (взвешенное выражение)

Полнотекстовые запросы не учитывают регистр. Например, поиск Aluminum или aluminum возвращает одинаковые результаты.

Полнотекстовые запросы используют небольшой набор предикатов Transact-SQL (CONTAINSи) и функций (FREETEXTиCONTAINSTABLEFREETEXTTABLE). Однако точная структура полнотекстовых запросов определяется целями поиска данного бизнес-сценария. Например:

• Поиск продукта на веб-сайте электронной коммерции:

  SELECT product_id
  FROM products
  WHERE CONTAINS ((product_description), '"Snap Happy 100EZ" OR FORMSOF(THESAURUS,"Snap Happy") OR "100EZ"')
        AND product_cost < 200;
  

• Чтобы найти кандидатов на работу, имеющих опыт работы с SQL Server:

  SELECT candidate_name,
         SSN
  FROM candidates
  WHERE CONTAINS ((candidate_resume), '"SQL Server"')
        AND candidate_division = 'DBA';
  

Дополнительные сведения см. в разделе Запросы с полнотекстовым поиском.

Сравнение запросов полнотекстового поиска с предикатом LIKE

В отличие от полнотекстового поиска, предикат LIKE Transact-SQL работает только в шаблонах символов. Кроме того, нельзя использовать LIKE предикат для запроса отформатированных двоичных данных. Кроме того, LIKE запрос к большому количеству неструктурированных текстовых данных гораздо медленнее, чем эквивалентный полнотекстовый запрос к тем же данным. Запрос LIKE к миллионам строк текстовых данных может занять несколько минут, в то время как полнотекстовый запрос может занять только секунды или меньше, в зависимости от количества возвращаемых строк.

Архитектура полнотекстового поиска

Архитектура полнотекстового поиска состоит из следующих процессов.

• Процесс SQL Server (sqlservr.exe).

• Хост-процесс демона фильтра (fdhost.exe).

  По соображениям безопасности фильтры загружаются отдельными процессами, которые называются узлами управляющей программы фильтрации. fdhost.exe Процессы создаются службой запуска FDHOST (MSSQLFDLauncher), и они выполняются под учетными данными безопасности учетной записи службы запуска FDHOST. Следовательно, чтобы работало полнотекстовое индексирование и выполнялись полнотекстовые запросы, должна быть запущена служба FDHOST. Сведения о настройке учетной записи службы для этой службы см. в разделе Настройка учетной записи службы средства запуска управляющей программы полнотекстовой фильтрации.

Эти два процесса содержат компоненты архитектуры полнотекстового поиска. На следующем рисунке приведены общие сведения об этих компонентах и их отношениях. Описание компонентов приведено после иллюстрации.

Процесс SQL Server

В процессе SQL Server используются следующие компоненты для полнотекстового поиска:

Фильтрация процесса узла управляющей программы

Хост службы фильтрации — это процесс, который запускается подсистемой полнотекстового поиска. Он использует следующие компоненты полнотекстового поиска, которые отвечают за доступ к данным из таблиц, их фильтрацию и разбиение на слова, а также за разбиение на слова и выделение основ слов во входных данных запроса.

Существуют следующие компоненты узла управляющей программы фильтрации.

SQL Server 2012 (11.x) устанавливает новую версию средств разбиения слов и стеммеров для английского языка США (LCID 1033) и английского языка Великобритании (LCID 2057). Однако можно переключиться на предыдущую версию этих компонентов, если вы хотите сохранить предыдущее поведение. Дополнительные сведения см. в разделе Изменение разделителя слов и фильтра в SQL Server 2025.

Обработка полнотекстового поиска

Полнотекстовый поиск работает на базе средства полнотекстового поиска. Подсистема полнотекстового текста имеет две роли: поддержка индексирования и поддержка запросов.

Процесс полнотекстового индексирования

При инициации заполнения полнотекстового индекса (который также называют «сканированием») средство полнотекстового поиска помещает большие пакеты данных в память и оповещает управляющую программу полнотекстовой фильтрации. Хост фильтрует данные, разбивает их на слова, а затем преобразует полученные данные в инвертированные списки слов. Затем система полнотекстового поиска извлекает преобразованные данные из списков слов, обрабатывает данные, чтобы удалить стоп-слова, и сохраняет списки слов для пакета в одном или нескольких инвертированных индексах.

При индексировании данных, хранящихся в столбце varbinary(max) или image , фильтр, реализующий IFilter интерфейс, извлекает текст на основе указанного формата файлов для этих данных (например, Microsoft Word). В некоторых случаях компоненты фильтра требуют, чтобы данные varbinary(max) или image записывались в папку filterdata, а не загружались в память.

Одним из этапов обработки собранных текстовых данных является их анализ средством разбиения по словам, которое разделяет текст на отдельные токены, или ключевые слова. Язык, используемый при разметке, задается на уровне столбца или может быть определен компонентом-фильтром по данным типа varbinary(max), imageили xml .

Для удаления стоп-слов можно выполнить дополнительную обработку и нормализовать маркеры перед их сохранением в полнотекстовом индексе или фрагменте индекса.

После завершения совокупности запускается окончательный процесс слияния, который объединяет фрагменты индекса в один главный полнотекстовый индекс. Этот процесс приводит к повышению производительности запросов, так как для ранжирования релевантности может использоваться только главный индекс, а не несколько фрагментов индекса, а более эффективная статистика оценки.

Процесс полнотекстового запроса

Обработчик запросов передает для обработки полнотекстовые части запроса средству полнотекстового поиска. Подсистема полнотекстового поиска выполняет разбиение текста на слова, а также, при необходимости, тезаурусное расширение, стемминг и обработку стоп-слов (шумовых слов). Затем полнотекстовые части запроса представляются в виде операторов SQL, главным образом в виде потоковых табличнозначных функций (STVF). Во время выполнения запроса эти STVF обращаются к инвертированному индексу, чтобы получить корректные результаты. Результаты возвращаются клиенту в данный момент или обрабатываются до возвращения клиенту.

Архитектура полнотекстового индекса

Данные полнотекстовых индексов используются средством полнотекстового поиска для компиляции полнотекстовых запросов, способных быстро находить таблицу с теми или иными словами или словосочетаниями. В полнотекстовом индексе хранятся данные о значимых для поиска словах и их расположении в одном или нескольких столбцах таблицы базы данных. Полнотекстовый индекс — это специальный тип функционального индекса на основе токенов, который создается и поддерживается подсистемой полнотекстового текста для SQL Server. Процесс создания полнотекстового индекса отличается от создания индексов других типов. Вместо построения структуры B-дерева на основе значения, хранящегося в определённой строке, подсистема полнотекстового поиска создаёт инвертированную, многоуровневую, сжатую индексную структуру на основе отдельных токенов индексируемого текста. Размер полнотекстового индекса ограничен только доступными ресурсами памяти компьютера, на котором выполняется экземпляр SQL Server.

Начиная с SQL Server 2008 (10.0.x), полнотекстовые индексы интегрируются с ядро СУБД вместо того, чтобы находиться в файловой системе, как в предыдущих версиях SQL Server. Для новой базы данных полнотекстовый каталог теперь является виртуальным объектом, который не принадлежит какой-либо файловой группе; это просто логическая концепция, которая ссылается на группу полнотекстовых индексов. Обратите внимание, однако, что при обновлении базы данных SQL Server 2005 (9.x), если какой-либо полнотекстовый каталог содержит файлы данных, создается новая файловая группа; дополнительные сведения см. в разделе Обновление полнотекстового поиска.

На одну таблицу может приходиться только один полнотекстовый индекс. Для создания полнотекстового индекса в таблице таблица должна иметь один уникальный ненулевой столбец. Можно создать полнотекстовый индекс на столбцах типа char, varchar, nchar, nvarchar, text, ntext, image, xmlи varbinary, а также для полнотекстового поиска может индексироваться varbinary(max) . Для создания полнотекстового индекса на столбце, тип данных которого varbinary, varbinary(max), imageили xml , необходимо указать столбец типов. Столбец типа — это столбец таблицы, в котором хранится расширение файла (.doc, .pdfи .xlsт. д.) документа в каждой строке.

Структура полнотекстового индекса

Хорошее понимание структуры полнотекстового индекса помогает понять, как работает полнотекстовый модуль. В этой статье используется следующий фрагмент Document таблицы в AdventureWorks2025 качестве примера таблицы. В этом фрагменте показаны только два столбца — столбец DocumentID и столбец Title — а также три строки из таблицы.

В этом примере предполагается, что в столбце Title создан полнотекстовый индекс.

Например, в следующей таблице, в которой показан фрагмент 1, отображается содержимое полнотекстового индекса, созданного в Title столбце Document таблицы. Полнотекстовые индексы содержат больше данных, чем представлено в этой таблице. Таблица является логическим представлением полнотекстового индекса, она предоставляется только с целью демонстрации. Строки хранятся в сжатом формате для оптимизации использования диска.

Данные инвертированы относительно исходных документов. Инверсия происходит, поскольку ключевые слова сопоставлены с идентификаторами документов. По этой причине полнотекстовый индекс часто называют инвертированным индексом.

Обратите внимание, что ключевое слово and удаляется из полнотекстового индекса, так как and это стоп-слово. Удаление стоп-слов из полнотекстового индекса может привести к значительной экономии места на диске, что повышает производительность запросов. Дополнительные сведения о стоп-словах см. в статье «Настройка стоп-слов и списков стоп-слов для полнотекстового поиска».

Фрагмент 1

Столбец Keyword содержит представление одного маркера, извлеченного во время индексирования. Средства разбиения на слова определяют, что составляет токен.

Столбец ColId содержит значение, которое соответствует определённому столбцу, включённому в полнотекстовый индекс.

Столбец DocId содержит значения для целого числа 8-байтов, которое сопоставляется с определенным значением полнотекстового ключа в полнотекстовой индексированной таблице. Это сопоставление необходимо, если полнотекстовый ключ не является целым типом данных. В таких случаях сопоставления между значениями полнотекстового ключа и значениями DocId поддерживаются в отдельной таблице, называемой таблицей DocId Mapping. Чтобы выполнить запрос к этим сопоставлениям, используйте системную хранимую процедуру sp_fulltext_keymappings. Чтобы удовлетворить условие поиска, DocId значения из предыдущей таблицы необходимо объединить с DocId таблицей сопоставления, чтобы получить строки из базовой таблицы, запрашиваемой. Если значение полнотекстового ключа базовой таблицы имеет целочисленный тип, это значение напрямую используется как DocId, и сопоставление не требуется. Следовательно, использование целочисленных значений полнотекстового ключа может оптимизировать выполнение полнотекстовых запросов.

Столбец Occurrence содержит целочисленное значение. Для каждого значения DocId существует список значений вхождения, соответствующих относительным смещениям слов конкретного ключевого слова в этом DocId. С помощью значений частотности удобно определять фразовое или близкое совпадение; например, для фраз значения частотности находятся рядом. Они также полезны при вычислении показателей релевантности; например, количество вхождений ключевого слова в документе с данным DocId может использоваться при расчёте оценки.

Фрагменты полнотекстового индекса

Логический полнотекстовый индекс обычно разбивается по нескольким внутренним таблицам. Каждая из внутренних таблиц называется фрагментом полнотекстового индекса. Некоторые из данных фрагментов могут содержать более свежие данные. Например, если пользователь обновляет следующую строку с DocId, равным 3, а в таблице выполняется автоматическое отслеживание изменений, то будет создан новый фрагмент.

В следующем примере, в котором показан фрагмент 2, содержатся более новые данные о DocId 3, чем во фрагменте 1. Следовательно, когда пользователь выполняет запрос по Rear Reflector, для DocId 3 используются данные из Fragment 2. Каждый из фрагментов имеет отметку времени создания, которую можно использовать в запросах с помощью представления каталога sys.fulltext_index_fragments .

Фрагмент 2

Как можно увидеть во фрагменте 2, полнотекстовым запросам необходимо осуществить внутреннее обращение к каждому фрагменту. Более старые записи не учитываются. Следовательно, наличие слишком большого количества полнотекстовых фрагментов индекса в полнотекстовом индексе может привести к существенному уменьшению производительности запросов. Чтобы уменьшить количество фрагментов, переорганизуйте полнотекстовый каталог с помощью REORGANIZE параметра инструкции ALTER FULLTEXT CATALOGTransact-SQL. Данная инструкция выполняет слияние в единый файл, объединяя все фрагменты в единый большой фрагмент, и удаляет все устаревшие записи из полнотекстового индекса.

После выполнения реорганизации в образце индекса будут содержаться следующие строки.

Различия между полнотекстовых индексами и обычными индексами SQL Server

Лингвистические компоненты полнотекстового поиска и поддержка языка

Полнотекстовый поиск поддерживает почти 50 языков, в том числе английский, испанский, китайский, японский, арабский, бенгальский и хинди. Полный список поддерживаемых языков полнотекстового поиска см. в sys.fulltext_languages. Каждый из столбцов в полнотекстовом индексе связан с идентификатором локали Microsoft Windows, который соответствует языку, поддерживаемому полнотекстовым поиском. Например, код языка 1033 соответствует языку «Английский (США)», а код 2057 соответствует языку «Английский (Великобритания)». Для каждого поддерживаемого полнотекстового языка SQL Server предоставляет лингвистические компоненты, поддерживающие индексирование и запросы полнотекстовых данных, хранящихся на этом языке.

Компоненты, относящиеся к языку, включают следующие элементы:

Модули разбиения на слова (и стеммеры), а также фильтры работают в главном процессе управляющей программы фильтрации (fdhost.exe).

Связанный контент

• Начало работы с компонентом Full-Text Search
• Создание и управление полнотекстовыми каталогами
• Создание полнотекстовых индексов и управление ими
• Заполнение полнотекстовых индексов
• Запросы с полнотекстовым поиском