Семантическое ранжирование в поиске ИИ Azure

В службе "Поиск по искусственному интеллекту Azure" семантический ранжатор — это функция, которая измеримо улучшает релевантность поиска с помощью моделей понимания языка Майкрософт для повторного ранжирования результатов поиска. Семантический рангер также встроен в агентическое извлечение. В этой статье приведены общие сведения о поведении и преимуществах семантического ранжирования.

Семантический рангер — это функция уровня "Премиум", которая взимается по использованию, но ее можно использовать бесплатно в соответствии с ограничениями службы для уровня "Бесплатный". Мы рекомендуем использовать эту статью для фона, но если вы предпочитаете начать работу, выполните следующие действия.

Что такое семантический рейтинг?

Семантический рангировщик — это коллекция возможностей на стороне запроса, которые повышают качество исходного BM25-ранжированного или ранжированного RRF результата поиска для текстовых запросов, текстовой части векторных запросов и гибридных запросов. Семантическое ранжирование расширяет конвейер выполнения запросов тремя способами:

• Во-первых, он всегда добавляет вторичный рейтинг над первоначальным набором результатов, который был оценен с помощью BM25 или Обратного ранжирования Фьюжн (RRF). Этот вторичный рейтинг использует многоязычные модели глубокого обучения, адаптированные от Microsoft Bing для повышения наиболее семантически релевантных результатов.

• Во-вторых, он возвращает субтитры и при необходимости извлекает ответы, которые можно отобразить на странице поиска, чтобы улучшить поисковый опыт пользователя.

• В-третьих, если включить перезапись запросов, она расширяет начальную строку запроса на несколько семантически похожих строк запроса.

Вторичное ранжирование и "ответы" применяются к ответу запроса. Перезапись запросов является частью процесса запроса.

Вот возможности семантического переранжировщика.

Как работает семантический рангер

Семантический рангировщик принимает запрос и результаты, а затем отправляет их в модели распознавания речи, размещенные корпорацией Майкрософт. Он проверяет наличие лучших совпадений.

На следующем рисунке объясняется понятие. Рассмотрим термин "капитал". Он имеет разные значения в зависимости от того, является ли контекст финансы, закон, география или грамматика. С помощью распознавания речи семантический рангировщик обнаруживает контекст и повышает результаты, которые соответствуют намерению запроса.

Семантический ранжирование использует много ресурсов и времени. Чтобы завершить обработку в рамках ожидаемой задержки выполнения запроса, система консолидирует и уменьшает входные данные для семантического ранжировщика. Этот подход помогает максимально быстро выполнить переупорядочивание.

Семантический рейтинг состоит из трех шагов:

1. Сбор и сводка входных данных
2. Оценка результатов с помощью семантического рангера
3. Выходные результаты с пересмотренной оценкой, заголовки и ответы

Как система собирает и суммирует входные данные

В семантическом ранжировании подсистема запросов передает результаты поиска в качестве входных данных для суммирования и ранжирования моделей. Так как модели ранжирования имеют ограничения на размер входных данных и требуют интенсивной обработки, результаты поиска должны быть оптимизированы по размеру и структуре (обобщены) для эффективной обработки.

1. Семантический рангировщик начинает работу с результата BM25, ранжированного из текстового запроса или с ранжированного результата RRF из векторного или гибридного запроса. В упражнении переранжирования используется только текст. Даже если результаты включают более 50, только первые 50 проходят семантическое ранжирование. Как правило, семантический ранжирование использует информационные и описательные поля.

2. Для каждого документа в результатах поиска модель суммирования принимает до 2000 маркеров, где маркер составляет около 10 символов. Модель собирает входные данные из полей title, keyword и content, перечисленных в семантической конфигурации.

3. Система обрезает слишком длинные строки, чтобы общая длина соответствовала входным требованиям шага суммирования. Это упражнение по обрезке показывает, почему важно добавлять поля в семантическую конфигурацию в порядке приоритета. Если у вас есть очень большие документы с текстовыми полями, система игнорирует что-либо после максимального ограничения.

   Семантическое поле	Ограничение токенов
   "title"	128 токенов
   "keywords	128 токенов
   "content"	оставшиеся токены

4. Выходные данные суммирования — это сводная строка для каждого документа, состоящая из наиболее релевантных сведений из каждого поля. Система отправляет сводные строки в рангер для оценки, а также модели чтения машинного чтения для подписей и ответов.

   По состоянию на ноябрь 2024 года максимальная длина каждой созданной сводной строки, передаваемой семантическому ранжировщику, составляет 2048 токенов. Ранее это было 256 токенов.

Как оцениваются результаты

Система оценивает результаты на основе заголовка и любого другого содержимого из строки сводки, которая заполняет длину 2048 токенов.

1. Система оценивает подписи для концептуальной и семантической релевантности относительно предоставленного запроса.

2. Система назначает @search.rerankerScore каждому документу на основе семантической релевантности документа для данного запроса. Оценки варьируются от 4 до 0 (высокий и низкий), где более высокая оценка указывает на более высокую релевантность.

   Score	Meaning
   4.0	Документ весьма релевантн и полностью отвечает на этот вопрос, хотя отрывок может содержать дополнительный текст, не связанный с вопросом.
   3.0	Документ имеет смысл, но не хватает подробностей, которые бы сделали его завершенным.
   2.0	Документ имеет несколько релевантных сведений; он отвечает на вопрос частично или только решает некоторые аспекты вопроса.
   1.0	Документ связан с вопросом, и он отвечает на небольшую часть этого вопроса.
   0.0	Документ не имеет значения.

3. Система перечисляет совпадения в порядке убывания по оценке и включает их в полезную нагрузку ответа запроса. Полезная нагрузка включает в себя ответы, обычный текст и подсвеченные подписи, а также все поля, помеченные как извлекаемые или указанные в операторе SELECT.

Выходные данные семантического рангера

Из каждой сводной строки модели чтения машинного чтения находят фрагменты, которые являются наиболее репрезентативными.

Выходные данные:

• Семантический заголовок для документа. Каждый заголовок доступен в виде простой текстовой версии и версии с выделением, и часто составляет менее 200 слов на документ.

• Необязательный семантический ответ, при условии, что вы указали answers параметр, запрос был задан как вопрос, и в длинной строке найден фрагмент текста, содержащий вероятный ответ на вопрос.

Подписи и ответы всегда представляют собой дословный текст из вашего индекса. В этом операционном процессе нет генеративной модели искусственного интеллекта, которая создает или составляет новое содержимое.

Семантические возможности и ограничения

Что может сделать семантический рангировщик:

• Продвигать совпадения, которые семантически ближе к намерению исходного запроса.

• Поиск строк для использования в качестве подписей и ответов. Ответ возвращает заголовки и ответы, которые можно отобразить на странице результатов поиска.

Семантический рангировщик не может повторно выполнить запрос по всему корпусу, чтобы найти семантически релевантные результаты. Семантическое ранжирование переоценивает существующий набор результатов, состоящий из первых 50 результатов, оценённых алгоритмом ранжирования по умолчанию. Кроме того, семантический рангировщик не может создавать новые сведения или строки. Языковые модели извлекают подписи и ответы из содержимого, поэтому если результаты не включают в себя текст, похожий на ответ, они не будут создавать их.

Хотя семантический рейтинг не является полезным в каждом сценарии, определенное содержимое может значительно воспользоваться его возможностями. Языковые модели в семантическом ранжировании лучше всего подходят для поискового контента, который является информационно насыщенным и структурированным в виде прозы. База знаний, онлайн-документация или документы, содержащие описательное содержимое, видят большую выгоду от возможностей семантического ранжирования.

Базовая технология разработана Bing и Microsoft Research и интегрирована в инфраструктуру поисковой системы ИИ Azure как дополнительная функция. Дополнительные сведения об исследованиях и инвестициях в искусственный интеллект, обуславливающих работу семантического ранжировщика, см. в статье О том, как ИИ Bing способствует работе Azure AI Search (блог Microsoft Research).

В следующем видео представлен обзор возможностей.

Как семантический рангер использует карты синонимов

Если включить поддержку сопоставлений синонимов, связанных с полем в индексе поиска, и включить это поле в конфигурацию семантического ранжировщика, семантический ранжировщик автоматически применяет настроенные синонимы в процессе повторного ранжирования.

Доступность и цены

Семантический рангировщик доступен в выбранных регионах. Используйте его в качестве автономной функции и в качестве встроенного компонента агентического извлечения.

Вы можете отключить семантический рангировщик для службы поиска, использовать его на ограниченной основе бесплатно или использовать его более эффективно с выставлением счетов по мере использования:

На странице цен Azure Search на базе искусственного интеллекта отображается тариф для разных валют и интервалов.

Плата за семантический рангировщик возникает, если запросы включают в себя queryType=semantic , а строка поиска не пуста (например, search=pet friendly hotels in New York). Если строка поиска пуста (search=*), плата не взимается, даже если для типа запроса задана семантика.

Начало работы с семантическим рангером

1. Проверьте региональную доступность.

2. Войдите на портал Azure.

3. Настройте семантический рангировщик для службы поиска, выбрав план ценообразования. Бесплатный план по умолчанию.

4. Настройте семантический рангер в индексе поиска.

5. Настройте запросы для возврата семантических субтитров и выделений.

6. При необходимости возвращать семантические ответы.

См. также

• Блог: Превосходящий поиск векторов с гибридными возможностями извлечения и ранжирования