Многомодальные внедрения (версия 4.0)

Многомодальное внедрение — это процесс создания векторного представления изображения, который фиксирует его функции и характеристики. Эти векторы кодируют содержимое и контекст изображения таким образом, который совместим с текстовым поиском по одному и тому же векторному пространству.

Системы извлечения изображений традиционно используют функции, извлеченные из изображений, например метки содержимого, теги и дескрипторы изображений, для сравнения изображений и ранжирования их по сходству. Однако поиск сходства векторов предлагает ряд преимуществ по сравнению с традиционным поиском на основе ключевых слов и становится важным компонентом в популярных службах поиска контента.

Различия между векторным поиском и поиском ключевых слов

Поиск ключевых слов — это самый базовый и традиционный метод получения информации. В этом подходе поисковая система ищет точное соответствие ключевых слов или фраз, введенных пользователем в поисковом запросе, и сравнивает его с метками и тегами, предоставленными для изображений. Затем поисковая система возвращает изображения, содержащие эти точные ключевые слова в виде тегов содержимого и меток изображений. Поиск ключевых слов сильно зависит от возможности пользователя использовать соответствующие и конкретные условия поиска.

Поиск векторов выполняет поиск больших коллекций векторов в высокомерном пространстве, чтобы найти векторы, аналогичные заданному запросу. Поиск векторов ищет семантические сходства путем записи контекста и значения поискового запроса. Этот подход часто более эффективен, чем традиционные методы извлечения изображений, так как это может уменьшить пространство поиска и повысить точность результатов.

Бизнес-приложения.

Многомодальное внедрение имеет различные приложения в различных полях, включая:

• Управление цифровыми активами: многомодальное внедрение можно использовать для управления большими коллекциями цифровых изображений, например в музеях, архивах или онлайн-галереях. Пользователи могут искать изображения на основе визуальных функций и извлекать изображения, соответствующие их критериям.
• Безопасность и наблюдение: векторизация может использоваться в системах безопасности и наблюдения для поиска изображений на основе определенных функций или шаблонов, таких как, отслеживание людей и объектов, или обнаружение угроз.
• Получение судебно-медицинских изображений: векторизация может использоваться в судебно-медицинских расследованиях для поиска изображений на основе их визуального содержимого или метаданных, таких как в случаях кибер-преступности.
• Электронная коммерция: векторизация может использоваться в онлайн-магазинах для поиска похожих продуктов на основе их функций или описаний или предоставления рекомендаций на основе предыдущих покупок.
• Мода и дизайн: векторизация может использоваться в моде и дизайне для поиска изображений на основе их визуальных признаков, таких как цвет, шаблон или текстура. Это может помочь дизайнерам или розничным продавцам определить аналогичные продукты или тенденции.

Что такое векторные внедрения?

Векторные внедрения — это способ представления содержимого ( текста или изображений) в виде векторов реальных чисел в высокомерном пространстве. Векторные представления часто обучаются на больших объемах текстовых и визуальных данных с помощью алгоритмов машинного обучения, таких как нейронные сети.

Каждое измерение вектора соответствует другому признаку или атрибуту содержимого, например его семантическому значению, синтаксической роли или контексту, в котором он обычно отображается. В Azure Vision в инструментах Foundry внедренные изображения и текстовые векторы имеют 1024 измерения.

Процесс извлечения изображения

Ниже приведены основные шаги процесса поиска изображений с помощью многомодальных внедрений.

1. Векторизация изображений и текста: API-интерфейсы многомодальных внедрения, VectorizeImage и VectorizeText можно использовать для извлечения векторов признаков из изображения или текста соответственно. API возвращают один вектор признаков, представляющий весь вход.

   Примечание.

   Мультимодальное встраивание не выполняет биометрической обработки человеческих лиц. Сведения об обнаружении и идентификации лиц см. в службе распознавания лиц Azure AI.

2. Измерение сходства: системы поиска в векторов обычно используют метрики расстояния, такие как расстояние косинуса или Евклиданское расстояние, для сравнения векторов и ранжирования их по подобию. В демонстрации Vision Studio используется косинусное расстояние для измерения сходства.
3. Получение изображений. Используйте верхние N-векторы , аналогичные поисковому запросу, и извлеките изображения, соответствующие этим векторам из библиотеки фотографий, чтобы предоставить в качестве окончательного результата.

Оценка релевантности

Служба извлечения изображений возвращает поле с именем "релевантность". Термин "релевантность" обозначает меру сходства между внедренными запросами и изображениями. Оценка релевантности состоит из двух частей:

1. Косинусное сходство (которое находится в диапазоне [0,1]) между встраиваниями запросов и изображений.
2. Оценка метаданных, которая отражает сходство между запросом и метаданными, связанными с изображением.

Требования к входным данным

Ввод изображения

• Размер файла изображения должен быть меньше 20 МБ
• Размеры изображения должны быть больше 10 x 10 пикселей и менее 16 000 x 16 000 пикселей

Ввод текста

• Текстовая строка должна быть от одного до 70 слов.

Следующий шаг

Включите многомодальные внедрения для службы поиска и выполните действия по созданию векторных внедрений для текста и изображений.

• Вызовите API многомодальных встраиваний