Выбор агента-хоста

При оценке операционного качества, надёжности и стоимости рассмотрите выбор хоста агента, такого как Microsoft 365 Copilot (декларативные агенты), Copilot Studio (пользовательские агенты) или Azure. Держите это решение отдельно от метода разработки агента. Место работы или размещения агента определяет его возможности оркестрации, доступ к модели и операционные функции. Эти функции напрямую влияют на качество отклика, производительность и затраты на работу решения в масштабе.

В этой статье объясняется, как хост-платформы агентов влияют на возможности решений. Вы узнаете, как различные методы разработки могут создавать агенты на одной и той же платформе узлов, сохраняя согласованное качество и поведение, как один метод разработки может создавать агенты на разных платформах с разными качествами и поведением, а также как узел формирует профиль затрат решения.

Стоимость как фактор эксплуатационной пригодности

Считайте стоимость постоянной операционной характеристикой, а не разовым вопросом закупки. Два решения могут создавать идентичные ответы, отличаясь по порядку затрат, так как затраты зависят от того, как работает агент, а не только то, что он возвращает. Хост-платформа в значительной степени определяет доступные вам рычаги управления:

• Расход токенов за одно взаимодействие. Каждая инструкция, фрагмент знаний и определение инструмента, обрабатываемые моделью на данном этапе взаимодействия, подлежат тарификации в рамках этого этапа. Постоянный контекст, загружаемый при каждом взаимодействии, оплачивается при каждом взаимодействии независимо от того, используется он или нет.
• Число этапов модели. Оркестратор решает, сколько раз вызывается модель для выполнения задачи. Чем больше циклов вызова инструментов и повторного планирования, тем больше вывод.
• Выбор модели. Более крупные рассуждающие модели стоят дороже за токен и увеличивают задержку. Узел определяет, какие модели доступны и можно ли направлять разные этапы в разные модели.
• Детерминизм. Работа, которая детерминирована, не нуждается в выводе модели вообще. Перенос этого в код или действия устраняет как затраты на токены, так и вариативность.

В следующих разделах рассматриваются факторы, которые сильнее всего влияют на затраты: оркестрационный контур, выбор модели и то, как вы выстраиваете инструкции в сравнении с детерминированными действиями.

Хостинг Microsoft 365 Copilot

Microsoft 365 Copilot предоставляет управляемую хостинговую среду для декларативных агентов с встроенными возможностями управления, безопасности и соответствия. Эта платформа обеспечивает стабильные характеристики производительности независимо от метода написания, который вы используете при создании агента.

Например, вы можете создавать декларативные агенты, используя функцию Agent Builder в Microsoft 365 Copilot, Copilot Studio или Microsoft 365 Agents Toolkit. Агент-хост определяет опции оркестрации, каталога и языковой модели, доступных разработчику. Эти варианты являются главными факторами, влияющими на качество отклика. Платформы для разработки и создания контента должны быть второстепенным критерием при выборе решения на этапе стабильной эксплуатации.

Разные платформы для авторства предоставляют разные уровни операционных возможностей, подходящих для различных нужд организации и этапов жизненного цикла разработки. Пока базовым хостом для агента остаётся Microsoft 365 Copilot (декларативные агенты), уровень качества остаётся стабильным по мере перехода между различными интерфейсами разработки в соответствии с вашими рабочими потребностями.

В следующей таблице приведены соображения по выбору платформы разработки для декларативных агентов в качестве наглядного примера.

Например, когда агент использует Work IQ для получения контекста, извлечения данных или выполнения действий, такое использование тарифицируется по-разному: стоимость в кредитах масштабируется в зависимости от сложности сценария, включая объем контекста, глубину рассуждений и количество шагов.

Учитывайте и другие факторы, такие как удобство разработки и инструменты отладки (не показаны в таблице). Имейте в виду, что эти факторы сильно зависят от уровня безопасности вашей организации и её возможностей для конкретной платформы разработки.

Преобразуйте декларативные агенты Microsoft 365 Copilot, созданные в Agent Builder, в декларативный агент, созданный с помощью Microsoft 365 Agents Toolkit. Эта стратегия сохраняет Microsoft 365 Copilot в качестве координатора для обеспечения стабильного поведения агентов. Если экспериментальный пользовательский агент, созданный в Copilot Studio, соответствует критериям оценки в рамках проверки концепции и для корпоративной эксплуатации требуется контроль версий, переведите агента в управляемый конвейер Power Platform. Такой подход гарантирует, что оркестратор Copilot Studio остаётся основным механизмом управления поведением агентов.

Оркестрация и использование агента

Оркестратор, или управляющий модуль, — это цикл выполнения, который планирует шаги, выбирает и вызывает инструменты, управляет окном контекста и определяет, когда задача считается завершённой. Это единственный крупнейший драйвер качества отклика и операционных затрат, так как он управляет числом поворотов модели, сколько контекста накапливается при каждом повороте, и как результаты инструментов передаются обратно в модель.

Поскольку хост-платформа предоставляет оркестратор, выбор хост-платформы во многом определяет диапазон затрат и задержки:

• Microsoft 365 Copilot предоставляет управляемый оркестратор. Вы получаете прогнозируемую, включенную в лицензию стоимость и согласованное поведение, с ограниченным контролем над циклом.
• Copilot Studio предоставляет настраиваемые средства оркестрации (например, темы и генеративную оркестрацию). Стоимость варьируется от лицензионной модели до модели на основе потребления в зависимости от того, какой объём генеративных задач вы делегируете модели.
• Azure и pro-code дают полный контроль над циклом. Оцените стоимость сопровождения кода по сравнению с использованием хорошо поддерживаемого каркаса или SDK, такого как Copilot SDK.

Когда хост открывает к ним доступ, ключевые механизмы оркестрации таковы:

• Бюджет этапа. Ограничивайте или изменяйте количество итераций планирования и вызова инструментов, которые оркестратор выполняет перед возвратом результата.
• Параллельные и последовательные вызовы инструментов. Одновременный запуск независимых вызовов инструментов для уменьшения задержки. По возможности объединяйте вызовы, чтобы сократить количество итераций.
• Управление контекстом. Обрезка, суммирование или ограничение окна контекста беседы предотвращают его неограниченный рост, что позволяет сохранить постоянную стоимость токенов на каждый этап вместо ее накопительного увеличения.
• Кэширование. Повторное использование кэшированных префиксов запросов между этапами или сеансами позволяет избежать повторного начисления платы за неизменный контекст.

Выбор модели

Выбор модели влияет на стоимость за токен и задержку и в значительной степени не зависит от способа создания. Более крупные модели для рассуждений обеспечивают более качественные результаты при решении сложных задач, но обходятся дороже за токен и отвечают медленнее. Сопоставлять модель с сложностью задачи вместо того, чтобы по умолчанию использовать наиболее подходящий вариант для каждой задачи.

Спроектируйте маршрутизацию моделей, если хост это поддерживает:

• Оставляйте передовые модели рассуждений для действительно сложных этапов, например когда требуется разрешить неоднозначность, выполнить синтез информации или сгенерировать ответ открытого типа.
• Направляйте детерминированные или простые подзадачи, такие как классификация, извлечение, форматирование и решения о маршрутизации, в более компактные, дешёвые и быстрые модели.
• Используйте разные модели в рамках одного агента, если оркестратор поддерживает выбор модели для каждого отдельного этапа, чтобы для каждого этапа использовались только те возможности, которые действительно необходимы.

Хост-платформа определяет, какие модели входят в каталог, можно ли выполнять маршрутизацию на каждом шаге, максимальный размер контекстного окна (большие окна позволяют использовать больше контекста, но обходятся дороже на каждом ходе) и доступно ли кэширование промптов. Проверьте эти возможности при выборе хоста, поскольку они ограничивают то, какую оптимизацию затрат на уровне модели вы сможете выполнить позже.

Проектирование для оптимизации затрат

Помимо выбора хостинга, оркестратора и модели, то, как вы структурируете инструкции и действия агента, напрямую и постоянно влияет на затраты. Два принципа руководства по эффективному проектированию:

1. Не оплачивайте вывод моделей для работы, которая детерминирована. Объединяйте детерминированные действия в скрипты, действия или соединители, а не описывая их как инструкции на естественном языке, которые модель должна интерпретировать при каждом запуске. Код выполняется один раз, дешево, с прогнозируемыми выходными данными, без затрат токена и меньшей изменчивостью. Использование естественного языка для одной и той же процедуры каждый раз требует выполнения вывода и может приводить к непоследовательным результатам.

2. Не расходуйте токены на постоянной основе для инструкций, которые используются редко. Предварительно загруженные инструкции на уровне агента оплачиваются на каждом этапе в рамках любого взаимодействия, даже если они не имеют отношения к запросу пользователя. Загрузка рекомендаций и знаний по запросу, только если задача соответствует, означает, что вы платите за этот контекст, когда он фактически используется, а не непрерывно. Этот шаблон прогрессивного раскрытия сохраняет базовую стоимость каждого взаимодействия низкой.

В следующей таблице показано, когда предзагрузить инструкции в агент, а не когда отправлять работу в детерминированные скрипты или ресурсы по запросу.

Экономичный агент использует минимальный набор постоянно действующих инструкций, сосредоточенных на его назначении и безопасности. Он обрабатывает фиксированные процедуры в виде скриптов или действий и предоставляет специализированные знания и рекомендации для конкретной задачи в качестве ресурсов по запросу, которые загружаются только при необходимости. Этот подход снижает стоимость токенов для каждого взаимодействия, делает поведение более предсказуемым и позволяет сохранить основной промпт более компактным и простым в сопровождении без ущерба для возможностей.

Следующий шаг

Узнайте, как измерять качество агентов, проверять производительность в различных сценариях и обеспечивать оперативную готовность до развертывания с помощью оценочных рамок.