Выдача метрик для использования больших маркеров языковой модели

ОБЛАСТЬ ПРИМЕНЕНИЯ: все уровни Управление API

Политика llm-emit-token-metric отправляет пользовательские метрики в Application Insights об использовании маркеров большой языковой модели (LLM) через API LLM.

Метрики количества токенов зависят от модели и провайдера и могут включать токены, запросы и завершение. В предварительном просмотре метрики количества токенов включают кэшированные, рассуждённые, мышленные и другие категории токенов.

Note

Задайте элементы политики и дочерние элементы в порядке, указанном в правиле политики. Узнайте, как устанавливать или изменять политики службы управления API.

Поддерживаемые API модели

Эта политика работает с API LLM, добавленными в управление API, которые соответствуют одной из следующих схем API:

  • Api завершения чата OpenAI или API ответов
  • API сообщений Anthropic (в настоящее время поддерживается на уровнях управления API версии 2)
  • API ИИ Google Vertex

Ограничения для пользовательских метрик

Azure Monitor накладывает ограничения на использование пользовательских метрик, которые могут повлиять на возможность отправки метрик из Управление API. Например, Azure Monitor в настоящее время задает ограничение в 10 ключей измерений на метрики и ограничение в 50 000 активных временных рядов в каждом регионе в подписке (в течение 12 часов). В службе управления API 5 из них используются для измерений по умолчанию, включая следующие:

  • Region
  • Идентификатор службы
  • Имя службы
  • Тип службы

Эти ограничения имеют следующие последствия для настройки пользовательских метрик в политике Управление API, напримерemit-metric:azure-openai-emit-token-metric

  • Можно настроить не более 5 пользовательских измерений для каждой политики.

  • Число активных временных рядов, создаваемых политикой в течение 12 часов, является продуктом числа уникальных значений каждого настроенного измерения в течение периода. Например, если в политике настроены три пользовательских измерения, а каждое измерение имеет 10 возможных значений в течение периода, политика будет способствовать 1000 (10 x 10 x 10) активных временных рядов.

  • Если вы настраиваете политику в нескольких экземплярах Управление API, которые находятся в одном регионе в подписке, все экземпляры могут способствовать ограничению активных временных рядов региона.

Дополнительные сведения об ограничениях проектирования и рекомендациях по пользовательским метрикам в Azure Monitor.

Prerequisites

  • В Управление API экземпляр необходимо добавить один или несколько API LLM.
  • Экземпляр Управление API должен быть интегрирован с Application Insights. Дополнительные сведения см. в статье "Интеграция Azure Управление API с приложение Azure Insights".
  • Включите ведение журнала Application Insights для API LLM.
  • Включите пользовательские метрики с измерениями в Application Insights. Дополнительные сведения см. в разделе "Выдача пользовательских метрик".

Правило политики

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

Attributes

Attribute Description Required Значение по умолчанию
namespace Строка. Пространство имен метрик. Выражения политики не допускаются. No API Management

Elements

Element Description Required
dimension Добавьте один или несколько этих элементов для каждого измерения, включенного в метрику. Yes

Атрибуты измерения

Attribute Description Required Значение по умолчанию
name Строковое выражение или выражение политики. Имя измерения. Yes N/A
value Строковое выражение или выражение политики. Значение измерения. Можно опустить, только если name соответствует одному из измерений по умолчанию. Если это так, значение указывается в соответствии с именем измерения. No N/A

Имена измерений по умолчанию, которые могут использоваться без значения

  • Идентификатор API
  • Идентификатор операции
  • Код продукта
  • Идентификатор пользователя
  • ИД подписки
  • Location
  • Идентификатор шлюза
  • Идентификатор серверной части

Usage

Заметки об использовании

  • Эту политику можно использовать несколько раз для определения политики.
  • Для этой политики можно настроить не более 5 пользовательских измерений.
  • Значения в разделе использования ответа от LLM API, когда они доступны, используются для определения метрик токенов.
  • Некоторые конечные точки LLM поддерживают потоковую передачу ответов. Если поток неожиданно прерывается или прерывается, количество захваченных токенов неточно.
  • Некоторые модели OpenAI, особенно при стриминге, по умолчанию не включают количество токенов в ответ. Чтобы получить количество токенов, установите include_usage параметр в запросе API true .

Example

Следующий пример отправляет метрики счетчика маркеров LLM в Application Insights вместе с идентификатором API в качестве измерения по умолчанию.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Связанный контент

Дополнительные сведения о работе с политиками см. в нижеуказанных статьях.

  • Last updated on