Потоки, запуски и сообщения в службе агента Foundry (классическая модель)

Служба агента Foundry поддерживает постоянные потоки, запуски и сообщения. Эти компоненты важны для управления состояниями беседы и взаимодействием с пользователями.

Компоненты агента

При использовании агента необходимо выполнить следующие действия.

• Создайте агент: Создайте агент для начала отправки сообщений и получения ответов.
• Создание потока: Создайте поток один раз и добавьте в него сообщения по мере ответа пользователей. Журнал бесед поддерживается и управляется автоматически.
• Отправка сообщений: Агент и пользователь могут отправлять сообщения. Эти сообщения могут включать текст, изображения и другие файлы.
• Запустите агент: При запуске агент обрабатывает сообщения в потоке и выполняет задачи на основе его конфигурации. Он может добавлять новые сообщения в поток как часть ответа.
• Отслеживайте состояние выполнения: Следите за выполнением до завершения.
• Получите ответ: После создания ответа агент отобразит его пользователю.

Агент

Агент — это настраиваемый компонент оркестрации, использующий модели искусственного интеллекта с инструкциями, инструментами, параметрами и дополнительными элементами управления безопасностью и управлением. Во время выполнения агент использует эти компоненты и журнал сообщений данного потока для реагирования на входные данные пользователей.

Потоки

Треды — это сеансы общения между агентом и пользователем. Они хранят сообщения и автоматически регулируют усечение, чтобы адаптировать содержимое под контекст модели. При создании потока можно добавлять новые сообщения (до 100 000 на поток) по мере реагирования пользователей.

Когда нужно создать новый поток

• Новый контекст беседы: создаётся новая тема при начале новой темы или когда пользователь явно хочет начать заново.
• Разные пользователи: каждый пользователь обычно должен иметь собственные потоки для поддержания изоляции диалога.
• Рекомендации по производительности. Потоки с тысячами сообщений могут увеличить задержку. Рассмотрите возможность создания новых потоков для длительных взаимодействий.

Жизненный цикл нити

Потоки сохраняются до явного удаления. В стандартной настройке агента потоки хранятся в учетной записи Azure Cosmos DB. Планируйте стратегию хранения потоков на основании:

• Затраты на хранение: большое количество потоков с большим количеством сообщений использует хранилище.
• Требования к соответствию требованиям. При управлении удалением потоков следует учитывать политики хранения данных.

Сообщения

Сообщения — это отдельные элементы общения в цепочке. Они могут быть созданы агентом или пользователем и могут включать текст или другие файлы. Сообщения хранятся в виде списка в пределах потока, позволяя структурированному и упорядоченному потоку беседы.

Запуски

Выполнение включает вызов агента в потоке. Агент обрабатывает сообщения в потоке и может добавлять новые сообщения, которые являются ответами от агента. Агент использует свою конфигурацию и сообщения потока для выполнения задач путем вызова моделей и инструментов. В процессе выполнения агент добавляет сообщения в поток выполнения.

Значения статуса выполнения

Отслеживайте состояние выполнения, чтобы определить, когда обработка завершена:

Лучшие практики

• Очистка ресурсов: удаление потоков и агентов, когда больше не требуется для управления затратами и хранилищем
• Обрабатывайте ошибки корректно: всегда проверяйте состояние выполнения и реализуйте логику failed с экспоненциальным обратным откатом
• Используйте соответствующие интервалы опроса: при проверке состояния выполнения начните с интервалов 500 мс и увеличьте время для длительных операций.
• Ограничение размера сообщения: хотя потоки поддерживают до 100 000 сообщений, стремятся сохранить беседы краткими для оптимальной производительности.

Дальнейшие действия

• Краткое руководство по созданию агента