Память в службе агента Microsoft Foundry (предварительный просмотр)

Важно

Память (предварительная версия) в Foundry Agent Service и API Memory Store (предварительная версия) предоставляются вам по лицензии в рамках вашей подписки Azure и регулируются условиями, применимыми к категории "Предварительные версии", изложенными в документе Microsoft Product Terms, Microsoft Products and Services Data Protection Addendum и Supplemental Terms of Use for Microsoft Azure Previews.

Последняя предварительная версия предлагает новые возможности и улучшения, включая:

  • Операции элемента памяти для создания, чтения, обновления, списка и удаления отдельных записей памяти.
  • Элементы управления хранением на уровне хранилища по умолчанию, включая TTL по умолчанию для только что созданных хранилищ памяти.
  • Прямое поведение синхронизированной команды управления памятью с режимом запоминания или игнорирования.

Память в агенте службы Microsoft Foundry — это долгосрочное, управляемое решение в области памяти. Он обеспечивает непрерывность работы агентов на разных сеансах, устройствах и в рабочих процессах. Создавая хранилища памяти и управляя ими, можно создавать агенты, которые сохраняют пользовательские предпочтения, поддерживают журнал бесед и предоставляют персонализированные возможности.

В этой статье представлен обзор памяти агента, включая ее понятия, варианты использования и ограничения. Инструкции по использованию см. в статье "Создание и использование памяти в службе агента Foundry".

Что такое память?

Память — это постоянные знания, сохраненные агентом в сеансах. Как правило, память агента входит в две категории:

  • Краткосрочная память отслеживает беседу текущего сеанса и поддерживает немедленный контекст для текущих взаимодействий. Платформы оркестрации агентов обычно управляют этой памятью в рамках контекста сеанса.

  • Долгосрочная память сохраняет обобщенные знания между сеансами. Модель может со временем вспоминать предыдущие взаимодействия с пользователем и использовать их для дальнейшего развития. Для долгосрочной памяти требуется постоянная система, которая извлекает, объединяет и управляет знаниями.

Память в службе агента Foundry предназначена для долговременного хранения информации. Он извлекает значимые сведения из бесед, объединяет его в устойчивые знания и делает его доступным для сеансов.

Как работает память

За кулисами воспоминания хранятся в виде элементов в управляемом хранилище памяти. Система может применять логику консолидации и разрешения конфликтов, если применимо, например слияние повторяющихся или перекрывающихся сведений профиля пользователя.

Примечание

Поведение консолидации может отличаться по типу памяти и может измениться во время предварительной версии. Сведения о последнем поведении см. в статье "Создание и использование памяти в службе агента Foundry".

Память работает на следующих этапах:

  1. Извлечения: Когда пользователь взаимодействует с агентом, система активно извлекает ключевые сведения из беседы, такие как предпочтения пользователей, факты и соответствующий контекст. Например, предпочтения, такие как "аллергия на молочные продукты" и сводки последних действий, определяются и хранятся.

  2. Консолидация: Извлеченные воспоминания консолидируются для поддержания хранилища памяти эффективным и релевантным. Система использует LLM для слияния аналогичных или повторяющихся разделов, чтобы агент не сохранял избыточные сведения. Конфликтующие факты, такие как новая аллергия, устраняются для поддержания точной памяти.

  3. Извлечение: Когда агенту нужно воспроизвести информацию, он ищет в хранилище памяти наиболее релевантные воспоминания. Это позволяет агенту быстро отображать правильный контекст, обеспечивая, чтобы беседы были естественными и информированными. Для достижения наилучших результатов стабильно извлекайте информацию профиля пользователя в начале беседы, чтобы агент мог персонализировать ответы.

Ниже приведен пример того, как память может улучшить и персонализировать взаимодействие между агентом рецепта и пользователем, который ранее выразил аллергию на пищу:

Диаграмма, показывающая извлечение, хранение и восстановление памяти агента на протяжении сеансов.

Совет

Нужна помощь в принятии решений о том, когда следует использовать память? Рассмотрим следующие рекомендации:

  • Используйте память для отслеживания контекста пользователя или агента, который изучается и сохраняется с помощью взаимодействий с течением времени.
  • Используйте базу знаний Foundry IQ, чтобы обеспечить вашего агента основами, основанными на тщательно отобранном содержимом организации.
  • Используйте средство поиска файлов для поиска предоставленных пользователем документов во время взаимодействия.

Типы памяти

Память в Foundry Agent Service извлекает и хранит три типа долгосрочной памяти:

Тип памяти Описание Руководство по извлечению Конфигурации
Память профиля пользователя Устойчивые предпочтения пользователей и личный контекст, такие как предпочтения языка, параметры по умолчанию продукта или специальные возможности. Извлекайте данные в начале каждого разговора, чтобы сформировать устойчивый контекст персонализации. Включено по умолчанию. Сведения о настройке и отключении см. в статье "Создание хранилища памяти".
Сводная память чата Дистиллированные сводки по предыдущим темам и потокам беседы. Извлекайте на каждом шаге релевантный контекст для поддержания непрерывности диалога, используя текущие сообщения беседы. Включено по умолчанию. Сведения о настройке и отключении см. в статье "Создание хранилища памяти".
Процедурная память Повторно используемые процедуры и операционные шаблоны, полученные из предыдущих взаимодействий. Извлекает, когда пользователь запрашивает повторяющийся рабочий процесс или задачу, которая была обработана агентом раньше. Включено по умолчанию. Сведения о настройке и отключении см. в статье "Создание хранилища памяти".

Управление памятью и хранение

Память в Foundry Agent Service поддерживает детализированное управление и средства управления сроками хранения для сценариев промышленной эксплуатации:

С помощью этих элементов управления вы можете сбалансировать качество персонализации с требованиями к конфиденциальности, соответствию требованиям и жизненному циклу данных.

Работа с памятью

Существует два способа использования памяти для взаимодействия с агентом:

  • Средство поиска памяти: Подключите средство поиска памяти к агенту запроса, чтобы включить чтение и запись в хранилище памяти во время бесед. Этот подход идеально подходит для большинства сценариев, так как упрощает управление памятью. Дополнительные сведения см. в разделе "Использование воспоминаний с помощью средства агента".

  • API хранилища памяти: Взаимодействуйте непосредственно с хранилищем памяти с помощью низкоуровневых API. Этот подход обеспечивает больший контроль и гибкость для расширенных вариантов использования, включая прямой контроль над отдельными записями памяти, поведением хранения и явными операциями жизненного цикла памяти. Дополнительные сведения см. в статье "Использование воспоминаний через API".

Варианты использования

В следующих примерах показано, как память может улучшить различные типы агентов.

  • Агент поддержки клиентов, который запоминает ваше имя, предыдущие проблемы и решения, номера билетов и предпочитаемый метод контакта (чат, электронная почта или обратный вызов). Эта память помогает избежать повторения информации, поэтому беседы являются более эффективными и удовлетворяющими.

  • Личный помощник по покупкам, который запоминает ваш размер в определенных брендах, предпочитаемые цвета, прошлые возвраты и последние покупки. Агент может предлагать соответствующие элементы сразу после начала сеанса и избегать рекомендаций продуктов, которые вы уже владеете.

Риски безопасности

При работе с оперативной памятью в Foundry Agent Service большая языковая модель (LLM) извлекает и объединяет данные на основе бесед. Защита памяти от угроз, таких как внедрение команд и повреждение памяти. Эти риски возникают, когда неправильные или вредные данные хранятся в памяти агента, потенциально влияя на ответы и действия агента.

Чтобы снизить риски безопасности, рассмотрите следующие действия:

  • Используйте Безопасность содержимого ИИ Azure и его систему обнаружения внедрения запросов: проверьте все запросы, входящие в систему памяти или выходящие из нее, чтобы предотвратить вредоносное содержимое.

  • Выполнение атак и враждебного тестирования: Регулярно проводите стресс-тестирование вашего агента на уязвимости инъекции через контролируемые враждебные упражнения.

Ограничения и квоты

Следующие ограничения и квоты применяются к памяти в службе агента Foundry. Более широкие ограничения и квоты см. в разделе "Ограничения службы агентов Foundry", "Квоты" и "Региональная поддержка".

Ограничения

  • В настоящее время для модуля памяти требуются совместимые развертывания моделей чата и встраивания в Azure OpenAI. Список поддерживаемых моделей см. в статье Модели Foundry, предлагаемые Azure.

  • Для API низкоуровневой памяти необходимо явно задать scope в каждом запросе. Автоматическое определение области видимости по удостоверению вызывающего пользователя поддерживается только при использовании средства поиска памяти с scope установленным значением {{$userId}}. Дополнительные сведения см. в разделе "Общие сведения о области".

  • Интеграция с виртуальной сетью не поддерживается для хранилищ памяти.

Примечание

В последней предварительной версии некоторые параметры хранилища памяти по умолчанию (например, включение процедурной памяти и настройка TTL по умолчанию) настраиваются во время создания хранилища. Проверьте, поддерживаются ли обновления после создания в используемой версии API.

Квоты

  • Максимальное количество зон памяти для хранилища памяти: 100
  • Максимальное количество памяти на область: 10 000
  • Память поиска: 1000 запросов в минуту
  • Обновление памяти: 1000 запросов в минуту

Доступность региона

Память доступна в следующих регионах:

  • Восточная Австралия
  • Южная Бразилия
  • Восточная Канада
  • Восточная часть США 2
  • Центральная Франция
  • Италия Север
  • Восточная Япония
  • Центральная Корея
  • Северная часть США
  • Восточная Норвегия
  • Север Южной Африки
  • Южная Индия
  • Центральная Швеция
  • Северная Швейцария
  • Север ОАЭ
  • Южная Часть Великобритании
  • Западная часть США
  • Западная часть США 2
  • Западная часть США 3

Цены

Память в настоящее время находится в общедоступной предварительной версии. Цены и выставление счетов за память и API хранилища памяти могут изменяться во время предварительной версии.

С вас взимается плата за использование базовых моделей чата и встраивания, которые вы настраиваете. Сведения о текущих ценах см. в разделе "Цены на службу агента Foundry".

Связанное содержимое

  • Last updated on