Добавление настраиваемых анализаторов в строковые поля в индекс поиска ИИ Azure

Пользовательский анализатор — это компонент лексического анализа по содержимому обычного текста. Это определяемое пользователем сочетание одного токенизатора, одного или нескольких фильтров маркеров и одного или нескольких фильтров символов. Настраиваемый анализатор указывается в индексе поиска, а затем вызывается по имени в определениях полей, которые требуют пользовательского анализа. Индивидуальный анализатор вызывается для каждого поля. Атрибуты в поле определяют, используется ли он для индексирования, запросов или обоих.

В пользовательском анализаторе фильтры символов подготавливают входной текст перед обработкой маркеризатором (например, удаление разметки). Затем токенизатор разбивает текст на токены. Наконец, фильтры токенов изменяют токены, создаваемые токенизатором. См. Понятия и примеры в статьях «Анализаторы в службе Azure AI Search» и «Руководство: создание пользовательского анализатора для номеров телефонов».

Зачем использовать пользовательский анализатор?

Следует рассмотреть пользовательский анализатор в классических рабочих процессах поиска, которые не включают большие языковые модели и их способность обрабатывать аномалии содержимого.

В поиске классов пользовательский анализатор позволяет управлять процессом преобразования обычного текста в индексируемые и поисковые маркеры, позволяя выбирать типы анализа или фильтрации для вызова, а также порядок их возникновения.

Создайте и назначьте пользовательский анализатор, если ни стандартный Lucene, ни встроенный, ни языковой анализаторы не удовлетворяют вашим потребностям. Вы также можете создать пользовательский анализатор, если вы хотите использовать встроенный анализатор с настраиваемыми параметрами. Например, если вы хотите изменить maxTokenLength стандартную Lucene, вы создадите пользовательский анализатор с заданным пользователем именем, чтобы задать этот параметр.

Сценарии, в которых пользовательские анализаторы могут быть полезны:

• Использование фильтров символов для удаления разметки HTML перед токенизацией текстовых данных или замены определенных знаков и символов.

• Фонетический поиск. Добавьте фонетический фильтр, чтобы искать слова на основе их звучания, а не написания.

• Отключение лексического анализа. Используйте анализатор ключевых слов для создания доступных для поиска полей, которые не анализируются.

• Быстрый поиск по префиксам или суффиксам. Добавьте фильтр токенов Edge N-gram для индексирования префиксов слов и обеспечения быстрого сопоставления префиксов. Объедините его с обратным фильтром маркеров, чтобы выполнить сопоставление суффиксов.

• Пользовательская токенизация. Например, с помощью создателя маркеров пробелов можно разделить предложения на маркеры, используя пробел как разделитель.

• Приведение к ASCII. Добавьте стандартный фильтр ASCII для нормализации диакритических знаков, таких как ö или ê, в поисковых запросах.

Создать пользовательский анализатор

Чтобы создать пользовательский анализатор, укажите его в разделе analyzers индекса на этапе проектирования, а затем ссылайтесь на него в полях для поиска Edm.String, используя либо свойство analyzer, либо пару indexAnalyzer и searchAnalyzer.

Определение анализатора включает в себя название, тип, один или несколько фильтров символов, не более одного токенизатора, а также один или несколько фильтров токенов для обработки после токенизации. Перед токенизацией применяются фильтры символов. Фильтры маркеров и фильтры символов применяются слева направо.

• Имена в пользовательском анализаторе должны быть уникальными и не могут совпадать со встроенными анализаторами, токенизаторами, фильтрами маркеров или фильтрами символов. Имена состоят из букв, цифр, пробелов, дефисов или символов подчеркивания. Имена должны начинаться и заканчиваться символами обычного текста. Имена должны содержать не более 128 символов.

• Тип должен быть #Microsoft.Azure.Search.CustomAnalyzer.

• charFilters может быть одним или несколькими фильтрами из фильтров символов, обработанных до токенизации, в указанном порядке. Некоторые фильтры символов имеют параметры, которые можно задать в charFilters разделе. Фильтры символов необязательны.

• tokenizer представляет собой ровно один токенизатор. Необходимо указывать значение. Если вам нужно больше токенизаторов, создайте несколько пользовательских анализаторов и в схеме индекса назначьте каждому полю по одному анализатору.

• tokenFilters может быть одним или несколькими фильтрами из фильтров маркеров, обработанных после токенизации, в указанном порядке. Для фильтров токенов, имеющих параметры, добавьте tokenFilter раздел для указания конфигурации. Фильтры токенов являются необязательными.

Длина создаваемых анализаторами маркеров не должна превышать 300 символов, иначе индексирование завершится ошибкой. Чтобы обрезать длинные маркеры или исключить их, используйте параметры TruncateTokenFilter или LengthTokenFilter. Для справки см. раздел Фильтры маркеров.

"analyzers":(optional)[
   {
      "name":"name of analyzer",
      "@odata.type":"#Microsoft.Azure.Search.CustomAnalyzer",
      "charFilters":[
         "char_filter_name_1",
         "char_filter_name_2"
      ],
      "tokenizer":"tokenizer_name",
      "tokenFilters":[
         "token_filter_name_1",
         "token_filter_name_2"
      ]
   },
   {
      "name":"name of analyzer",
      "@odata.type":"#analyzer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"charFilters":(optional)[
   {
      "name":"char_filter_name",
      "@odata.type":"#char_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenizers":(optional)[
   {
      "name":"tokenizer_name",
      "@odata.type":"#tokenizer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenFilters":(optional)[
   {
      "name":"token_filter_name",
      "@odata.type":"#token_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
]

В определении индекса этот раздел можно разместить в любом месте текста запроса на создание индекса, но он обычно находится в конце.

{
  "name": "name_of_index",
  "fields": [ ],
  "suggesters": [ ],
  "scoringProfiles": [ ],
  "defaultScoringProfile": (optional) "...",
  "corsOptions": (optional) { },
  "analyzers":(optional)[ ],
  "charFilters":(optional)[ ],
  "tokenizers":(optional)[ ],
  "tokenFilters":(optional)[ ]
}

Определение анализатора является частью большого индекса. Определения фильтров символов, токенизаторов и фильтров токенов добавляются в индекс только при настройке пользовательских параметров. Чтобы использовать существующий фильтр или токенизатор в исходном виде, укажите его по имени в конфигурации анализатора. Дополнительные сведения см. в разделе Создание индекса (REST). Дополнительные примеры см. в статье "Добавление анализаторов" в поиске ИИ Azure.

Проверка пользовательских анализаторов

Сведения о том, как анализатор разбивает текст на маркеры, см. в статье Анализатор теста (REST).

Запросить

  POST https://[search service name].search.windows.net/indexes/[index name]/analyze?api-version=[api-version]
    Content-Type: application/json
    api-key: [admin key]

  {
     "analyzer":"my_analyzer",
     "text": "Vis-à-vis means Opposite"
  }

Ответ

  {
    "tokens": [
      {
        "token": "vis_a_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "vis_à_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "means",
        "startOffset": 10,
        "endOffset": 15,
        "position": 1
      },
      {
        "token": "opposite",
        "startOffset": 16,
        "endOffset": 24,
        "position": 2
      }
    ]
  }

Обновление пользовательских анализаторов

После определения анализатора, токенизатора, фильтра маркеров или фильтра символов его нельзя изменить. Добавить новые определения в существующий индекс можно только в том случае, если в запросе на обновление индекса для флага allowIndexDowntime установлено значение true.

PUT https://[search service name].search.windows.net/indexes/[index name]?api-version=[api-version]&allowIndexDowntime=true

Эта операция переведет индекс в автономный режим на несколько секунд, что приведет к сбоям при выполнении индексирования и запросов. После обновления индекса его производительность и доступность для записи может быть снижена на несколько минут или дольше, если индекс очень большой. Эти последствия временны и проходят сами по себе.

Встроенные анализаторы

Если вы хотите использовать встроенный анализатор с пользовательскими параметрами, создание пользовательского анализатора — это способ, с помощью которого можно указать эти параметры. В отличие от этого, чтобы использовать встроенный анализатор «как есть», достаточно просто сослаться на него по имени в определении поля.

¹ Типы анализаторов всегда префиксируются в коде таким #Microsoft.Azure.Search образом, что PatternAnalyzer фактически указывается как #Microsoft.Azure.Search.PatternAnalyzer. Мы удалили префикс для краткости, но он требуется в коде.

Обратите внимание, что параметр analyzer_type предоставляется только для анализаторов, которые можно настроить. Если нет опций, как это бывает с анализатором ключевых слов, нет связанного типа #Microsoft.Azure.Search.

Фильтры символов

Фильтры символов добавляют обработку перед тем как строка достигает токенизатора.

Поиск ИИ Azure поддерживает фильтры символов в следующем списке. Дополнительные сведения о каждом из них можно найти в справочнике по API Lucene.

¹ Типы фильтров char всегда префиксируются в коде таким #Microsoft.Azure.Search образом, что MappingCharFilter фактически указывается как #Microsoft.Azure.Search.MappingCharFilter. Мы удалили префикс, чтобы уменьшить ширину таблицы, но не забудьте включить его в код. Обратите внимание, что параметр char_filter_type предоставляется только для фильтров, которые можно настроить. Если нет параметров, как и в случае с html_strip, нет связанного типа #Microsoft.Azure.Search.

Токенизаторы

Токенизатор делит непрерывный текст на последовательность маркеров, например разбиение предложения на слова или слово в корневые формы.

Поиск Azure AI поддерживает маркеризаторы в следующем списке. Дополнительные сведения о каждом из них можно найти в справочнике по API Lucene.

¹ Типы маркеризатора всегда префиксируются в коде таким #Microsoft.Azure.Search образом, что ClassicTokenizer фактически указывается как #Microsoft.Azure.Search.ClassicTokenizer. Мы удалили префикс, чтобы уменьшить ширину таблицы, но не забудьте включить его в код. Обратите внимание, что свойство tokenizer_type предоставляется только для токенизаторов, которые можно настроить. Если нет параметров, как в случае с буквенным токенизатором, то нет и связанного типа #Microsoft.Azure.Search.

Фильтры токенов

Фильтр токенов используется для фильтрации или изменения токенов, созданных токенизатором. Например, вы можете указать специальный фильтр, который преобразует все символы в нижний регистр. Пользовательский анализатор может содержать несколько фильтров токенов. Фильтры маркеров выполняются в том порядке, в котором они перечислены.

В следующей таблице фильтры маркеров, реализованные с помощью Apache Lucene, связаны с документацией по API Lucene.

¹ Типы фильтров маркеров всегда префиксируются в коде таким #Microsoft.Azure.Search образом, что ArabicNormalizationTokenFilter фактически указывается как #Microsoft.Azure.Search.ArabicNormalizationTokenFilter. Мы удалили префикс, чтобы уменьшить ширину таблицы, но не забудьте включить его в код.

См. также

• REST API службы поиска ИИ Azure
• Анализаторы в поиске ИИ Azure (примеры)
• Создание индекса (REST)