Управление бюджетами для шлюза искусственного интеллекта Unity

Бюджеты помогают отслеживать ежемесячные расходы шлюза искусственного интеллекта Unity и управлять ими с помощью фильтров, применяемых к записям выставления счетов. Вы можете задать бюджет специально для продукта шлюза искусственного интеллекта Unity для отслеживания расходов только шлюза ИИ Unity или включить шлюз ИИ Unity в бюджет на уровне учетной записи.

Администраторы учетной записи и рабочего пространства могут просматривать сводку состояния бюджета AI и расходов на странице AI в Governance Hub.

Дополнительные сведения о создании и мониторинге бюджетов см. в статье "Создание и мониторинг бюджетов".

Requirements

• Шлюз Unity AI включен для вашей учетной записи.

Как бюджеты работают с шлюзом искусственного интеллекта Unity

При создании бюджета выберите Unity AI Gateway в качестве типа ресурса, чтобы отслеживать только расходы Unity AI Gateway, включая оплату за токен, вывод ai_query и опциональное использование внешней модели.

Типы пороговых значений: для бюджетов, ограниченных шлюзом ИИ Unity, можно настроить следующее:

• Общие пороговые значения: общий предел расходов для всех пользователей в пределах бюджета.
• Пороговые значения для каждого пользователя: ежемесячное ограничение, которое применяется к каждому отдельному пользователю.
• Переопределения для пользователей: назначьте отдельным пользователям или группам более высокий лимит расходов, чем стандартный лимит на пользователя. Пользователи, на которых распространяется переопределение, могут тратить до суммы, заданной переопределением, вместо лимита по умолчанию для каждого пользователя. Если пользователь принадлежит нескольким группам переопределения, применяется наибольшее пороговое значение.

Для общих и пользовательских пороговых значений можно настроить одно или оба из следующих действий при достижении порогового значения:

• Отправить оповещение: отправляет уведомление по электронной почте на настроенные адреса. Пользователи сохраняют доступ к шлюзу искусственного интеллекта Unity.
• Блокировка использования. Запрещает пользователю выполнять дальнейшие запросы через шлюз искусственного интеллекта Unity. Пользователь видит сообщение об исчерпании бюджета. Доступ возобновляется после сброса бюджета или администратор увеличивает пороговое значение.

Администраторы аккаунтов могут просматривать предполагаемые расходы почти в реальном времени на странице с деталями бюджета.

Включить использование внешней модели

При создании бюджета Unity AI Gateway выберите «Включить использование внешней модели », чтобы включить оценочные расходы от запросов, направляемых к внешним моделям через сервисы поставщиков моделей.

При включении расходы внешней модели учитываются в пороговых показателях общего бюджета и на пользователя. Настроенные действия оповещения и блокировки применяются, когда суммарные расходы достигают порога. Если вы не выберете эту опцию, бюджет исключает расходы на внешние модели, но продолжает включать использование моделей, размещённых на Azure Databricks.

Azure Databricks оценивает расходы на внешние модели на основе использования токенов и опубликованных цен внешнего провайдера. Эти оценки могут отличаться от вашего окончательного счета поставщика. Для исторического анализа расходов на внешние модели запросите системную system.ai_gateway.external_model_spend таблицу. См. внешние модели.

Фильтры бюджетных тегов применяются к тегам сервиса моделей. Теги запросов доступны в внешней таблице системы расходов модели, но не влияют на сопоставление бюджета.

Limitations

• Инференс с выделенной пропускной способностью в настоящее время не отслеживается.

• Каждый бюджет поддерживает максимум четыре общих пороговых значения и 20 переопределений для каждого пользователя.

• Ваша учетная запись может иметь не более 1000 бюджетов.

• Пороги использования блоков применяются приблизительно. Правоприменение использует почти в реальном времени оценку затрат, поэтому фактические расходы могут варьироваться выше или ниже установленного порога. Это означает следующее:

  • Пользователь может быть заблокирован до того, как его фактические расходы достигнут порога.
  • До вступления в силу применения закона может произойти определённые расходы, превышающие этот порог. Активные запросы, выполняющиеся на момент достижения порогового значения, не прерываются.

  system.billing.usage остаётся основным достоверным источником данных о фактическом использовании, тарифицируемом Databricks. Для выявления расхождений между использованием, отслеживаемым по бюджету, и фактическими затратами Azure Databricks может задним числом корректировать бюджетные оценки для их согласования. Для использования внешней модели источником достоверности по фактическим сборам поставщика является счет-фактура внешнего провайдера.

• Суммы расходов в письмах с уведомлениями о бюджете, на странице сведений о бюджете, system.billing.usage и system.ai_gateway.external_model_spend могут различаться при сравнении в один и тот же момент. Ожидается, что каждый исходный код обновляется по-разному:

  • Сообщения электронной почты о бюджете: отражает расходы на момент активации оповещения.
  • Страница сведений о бюджете: часто обновляется, но вскоре после получения недавнего письма с уведомлением на ней может отображаться сумма меньше, чем в этом письме.
  • system.billing.usage: обновляется каждые несколько часов. Запросы к системным таблицам вскоре после получения оповещения могут возвращать меньшую сумму расходов, чем на странице сведений о бюджете или в электронных письмах с оповещениями.
  • system.ai_gateway.external_model_spend: Обновляется каждый час с оценкой расходов на внешние модели. Оценки могут отличаться от вашего окончательного счета поставщика.

  Применение бюджета, включая пороговые значения блокировки использования и оповещений, основано на отслеживании расходов практически в реальном времени и не влияет на время обновления системной таблицы.

Дополнительные ресурсы

• Анализ стоимости шлюза AI в Unity
• Создание и управление API моделей (сервисами моделей)
• Создание и мониторинг бюджетов
• Управление бюджетами и элементами управления затратами для Genie