Векторные хранилища для поиска файлов

Объекты векторного хранилища предоставляют средству поиска файлов возможность поиска файлов. Добавление файла в векторное хранилище предоставляет модели Foundry агента знания, выходящие за пределы его обучающих данных. Служба анализирует, разбивает на части, встраивает и индексирует файл, чтобы средство запускало ключевой и семантический поиск.

Хранилища векторов можно подключить как к агентам, так и к беседам. В настоящее время можно подключить не более одного векторного хранилища к агенту и не более одного векторного хранилища к беседе. Общие сведения о беседах см. в разделе "Компоненты среды выполнения агента".

В текущей среде разработки агентов генерация ответов использует ответы и беседы. Некоторые пакеты SDK и старые примеры используют термин run. Если вы видите оба термина, рассматривайте запуск как генерацию ответа. Инструкции по миграции см. в разделе "Как перейти на новую службу агента".

Список ограничений для поиска векторов (например, максимальных допустимых размеров файлов) см. в статье о квотах и ограничениях .

Необходимые условия

  • Проект Microsoft Foundry.
  • Агент или беседа, использующая средство поиска файлов.
  • Если вы используете стандартную настройку агента, подключите Хранилище BLOB-объектов Azure и Поиск с использованием ИИ Azure во время установки, чтобы файлы оставались в хранилище. См. раздел "Настройка среды агента".
  • Роли и разрешения зависят от задачи (например, создания проектов, назначения ролей для стандартной настройки или создания и редактирования агентов). См. таблицу необходимых разрешений в настройке среды агента.
  • Доступность компонентов может отличаться по регионам. Сведения о текущем охвате см. в разделе Доступность функций Microsoft Foundry в облачных регионах.

Ограничения ключей и значения по умолчанию

Хранилища векторов часто становятся первой точкой сбоя рабочих процессов извлечения в производственной среде, поэтому важно знать значения по умолчанию и жесткие ограничения.

  • Файлы для векторного хранилища: каждое векторное хранилище может содержать до 10 000 файлов.
  • Вложения: Вы можете присоединить не более одного векторного хранилища к агенту и не более одного векторного хранилища к беседе.
  • Параметры извлечения по умолчанию (поиск файлов):
    • Размер блока: 800 токенов
    • Перекрытие блока: 400 маркеров
    • Модель встраивания: text-embedding-3-large с 256 измерениями
    • Максимальное количество блоков, добавленных в контекст: 20

Сведения о размерах файлов и ограничениях маркеров см. в разделе "Квоты и ограничения".

Основные понятия

Термин Смысл
Хранилище векторов Контейнер для содержимого файла, подлежащего поиску (фрагменты и встраивания), используемого инструментом поиска файлов.
Приеме внутрь Асинхронный процесс, который анализирует, разбивает на части, встраивает и индексирует файл для поиска.
Готовность Завершено ли поглощение и доступно ли векторное хранилище для поиска.
Политика окончания срока действия Политика жизненного цикла, которая удаляет векторное хранилище данных после периода бездействия.

Поиск файлов применяет рекомендации по извлечению, чтобы помочь агенту найти правильное содержимое из файлов. В зависимости от запроса и данных средство может:

  • Перезапись запросов пользователей для улучшения извлечения.
  • Разбиите сложные запросы на несколько поисковых запросов.
  • Запустите как поиск по ключевым словам, так и семантический поиск в векторных хранилищах агентских и разговорных взаимодействий.
  • Повторное ранжирование результатов перед добавлением их в контекст применения модели.

Текущие параметры извлечения по умолчанию (размер блока и перекрытие, внедрение модели и максимальное количество блоков, добавленных в контекст), см. в разделе "Как это работает".

Где находятся данные (базовая и стандартная настройка агента)

Где находятся файлы и ресурсы поиска определяется конфигурацией агента:

  • Basic agent setup: поиск файлов использует управляемые Microsoft ресурсы хранилища и поиска.
  • Стандартная настройка агента: поиск файлов использует ресурсы Хранилище BLOB-объектов Azure и Поиск с использованием ИИ Azure, которые вы подключаетесь во время установки, чтобы файлы оставались в хранилище.

Сведения о настройке среды см. в разделе "Настройка среды агента". Дополнительные сведения см. в разделе "Зависимость от настройки агента".

Обеспечение готовности хранилища векторов перед созданием ответов

Перед созданием ответа убедитесь, что все файлы в хранилище векторов полностью обрабатываются. Этот шаг гарантирует, что все данные в хранилище векторов доступны для поиска.

Чтобы проверить готовность, используйте вспомогательные средства опроса пакета SDK (например, create-and-poll и upload-and-poll) или опрос объекта векторного хранилища до завершения его состояния. Примеры кода см. в средстве поиска файлов для агентов.

Во время приема векторное хранилище может находиться в состоянии in_progress . После завершения приема состояние изменится на завершенное.

В качестве резервного варианта, создание ответов включает 60-секундное максимальное ожидание, если векторное хранилище беседы содержит файлы, которые по-прежнему обрабатываются. Это резервное ожидание не применяется к хранилищу векторов агента.

Контрольный список полного рабочего процесса

Используйте этот контрольный список для проверки рабочего рабочего процесса векторного хранилища от приема до управления жизненным циклом.

  1. Определите, используется ли базовая настройка агента или стандартная настройка агента, в зависимости от того, где будут находиться файлы и ресурсы поиска. См. сведения о расположении данных (базовая и стандартная настройка агента).
  2. Отправьте файлы и создайте векторное хранилище. Пошаговый пример см. в разделе "Отправка файлов" и их добавление в векторное хранилище.
  3. Подождите, пока не завершится процесс приема данных, прежде чем создавать ответы. Используйте вспомогательные средства опроса SDK или контролируйте хранилище векторов, пока его состояние не будет завершено и файлы не останутся в в процессе. Прежде чем создавать ответы, см. статью "Обеспечение готовности к хранилищу векторов".
  4. Подключите хранилище векторов к агенту или чатам, которые вы используете для поиска файлов. Имейте в виду ограничения вложений. См. векторные хранилища.
  5. Создайте ответ с помощью поиска файлов и убедитесь, что средство извлекает данные из ожидаемых источников. См . статью "Создание ответа" с помощью поиска файлов и проверки результатов.
  6. Управление жизненным циклом: удалите файлы, которые больше не нужны, и запланируйте политики окончания срока действия (особенно для векторных хранилищ, созданных вспомогательными службами бесед). Смотрите Векторные хранилища и Векторные хранилища для разговоров имеют стандартные политики истечения срока действия.

Добавление файлов и управление хранилищами векторов

Добавление файлов в векторные хранилища — это асинхронная операция. Чтобы обеспечить завершение приёма данных, используйте инструменты создания и опроса в официальных наборах SDK. Если вы не используете пакет SDK, опрашивайте хранилище векторов, пока его состояние не завершено и файлы не останется в состоянии in_progress.

Файлы также можно добавить в векторное хранилище после его создания путем создания файлов векторного хранилища. Кроме того, можно добавить несколько файлов в векторное хранилище путем создания пакетов до 500 файлов.

При отправке файла для создания векторного хранилища система автоматически:

  1. Разделяет содержимое на управляемые части.
  2. Преобразует каждый блок в высокомерные векторы с помощью моделей внедрения.
  3. Сохраняет эти векторы в оптимизированном индексе поиска.
  4. Создает связи между векторами и исходным содержимым.

Удаление файлов из векторных хранилищ

Файлы из векторного хранилища можно удалить двумя разными способами:

  • Удалите объект файла векторного хранилища.
  • Удалите базовый объект файла. Это удаляет файл из всех конфигураций векторного хранилища для всех агентов и разговоров в вашей организации.

Управление жизненным циклом с помощью политик истечения срока действия

Политики истечения срока действия помогают управлять жизненным циклом хранилища векторов. Эти политики можно задать при создании или обновлении объекта векторного хранилища.

Хранилища векторов разговоров имеют политики хранения данных по умолчанию.

Векторные хранилища, созданные с использованием вспомогательных средств беседы, имеют политику истечения срока действия по умолчанию через семь дней после того, как они были последняя активны (определяется как последний раз, когда хранилище векторов использовалось в процессе генерации ответа).

Когда срок действия хранилища векторов истекает, генерация ответа для этой беседы терпит неудачу. Чтобы устранить проблему, создайте новое хранилище векторов с теми же файлами и повторно прикрепите его к беседе. Дополнительные сведения см. в разделе «Политики по умолчанию для истечения срока действия в хранилищах векторов беседы».

Поддерживаемые типы файлов и ограничения ключей

Сведения о поддерживаемых типах файлов и требованиях к кодировке см. в разделе "Поддерживаемые типы файлов".

Ключевые ограничения, которые следует учитывать:

  • К агенту можно подключить не более одного векторного хранилища и не более одного векторного хранилища к беседе.
  • Размер файла и ограничения на токены зависят от функции. См. квоты и ограничения.

Устранение неполадок

  • Ваше векторное хранилище пока недоступно для поиска: дождитесь завершения приема. Используйте вспомогательные функции опроса SDK или повторяйте запрос к хранилищу векторов, пока его состояние не будет завершено.
  • Создание ответов терпит неудачу через несколько дней: возможно, срок действия вашего хранилища векторных данных беседы истек. Создайте новое векторное хранилище с теми же файлами и подключите его заново.
  • Файл исчез из нескольких агентов или бесед: возможно, вы удалили базовый файловый объект, который удаляет файл из всех конфигураций хранилища векторов в организации.
  • Сбой загрузки или отправки: проверьте размер файла и ограничения токена в Квотах и ограничениях.

Дальнейшие действия

  • Last updated on