Поделиться через

Выдача метрик для использования токенов Azure OpenAI

ОБЛАСТЬ ПРИМЕНЕНИЯ: все уровни Управление API

Политика azure-openai-emit-token-metric отправляет пользовательские метрики в Application Insights о использовании больших маркеров языковой модели через API-интерфейсы службы OpenAI Azure. Метрики счетчика маркеров включают: общие маркеры, маркеры запроса и маркеры завершения.

Note

Задайте элементы политики и дочерние элементы в порядке, указанном в правиле политики. Узнайте, как устанавливать или изменять политики службы управления API.

Поддерживаемые модели Azure OpenAI в модели Azure AI Foundry

Политика используется с API, добавленными в управление API из Azure OpenAI в моделях AI Foundry следующих типов:

Тип API Поддерживаемые модели
Завершение чата gpt-3.5

gpt-4

gpt-4o

gpt-4o-mini

o1

o3
Embeddings text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002
Ответы (предварительная версия) gpt-4o(версии: 2024-11-20, 2024-08-062024-05-13)

gpt-4o-mini (Версия: 2024-07-18)

gpt-4.1 (Версия: 2025-04-14)

gpt-4.1-nano (Версия: 2025-04-14)

gpt-4.1-mini (Версия: 2025-04-14)

gpt-image-1 (Версия: 2025-04-15)

o3 (Версия: 2025-04-16)

o4-mini (Версия: '2025-04-16)

Note

Традиционные API завершения доступны только в устаревших версиях модели и ограничена поддержка.

Текущие сведения о моделях и их возможностях см. в статье Azure OpenAI в модели Foundry.

Ограничения для пользовательских метрик

Azure Monitor накладывает ограничения на использование пользовательских метрик, которые могут повлиять на возможность отправки метрик из Управление API. Например, Azure Monitor в настоящее время задает ограничение в 10 ключей измерений на метрики и ограничение в 50 000 активных временных рядов в каждом регионе в подписке (в течение 12 часов). В службе управления API 5 из них используются для измерений по умолчанию, включая следующие:

  • Region
  • Идентификатор службы
  • Имя службы
  • Тип службы

Эти ограничения имеют следующие последствия для настройки пользовательских метрик в политике Управление API, напримерemit-metric:azure-openai-emit-token-metric

  • Можно настроить не более 5 пользовательских измерений для каждой политики.

  • Число активных временных рядов, создаваемых политикой в течение 12 часов, является продуктом числа уникальных значений каждого настроенного измерения в течение периода. Например, если в политике настроены три пользовательских измерения, а каждое измерение имеет 10 возможных значений в течение периода, политика будет способствовать 1000 (10 x 10 x 10) активных временных рядов.

  • Если вы настраиваете политику в нескольких экземплярах Управление API, которые находятся в одном регионе в подписке, все экземпляры могут способствовать ограничению активных временных рядов региона.

Дополнительные сведения об ограничениях проектирования и рекомендациях по пользовательским метрикам в Azure Monitor.

Prerequisites

Правило политики

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Attributes

Attribute Description Required Значение по умолчанию
namespace Строка. Пространство имен метрик. Выражения политики не допускаются. No API Management

Elements

Element Description Required
dimension Добавьте один или несколько этих элементов для каждого измерения, включенного в метрику. Yes

Атрибуты измерения

Attribute Description Required Значение по умолчанию
name Строковое выражение или выражение политики. Имя измерения. Yes N/A
value Строковое выражение или выражение политики. Значение измерения. Можно опустить, только если name соответствует одному из измерений по умолчанию. Если это так, значение указывается в соответствии с именем измерения. No N/A

Имена измерений по умолчанию, которые могут использоваться без значения

  • Идентификатор API
  • Идентификатор операции
  • Код продукта
  • Идентификатор пользователя
  • ID подписки
  • Location
  • Идентификатор шлюза
  • Идентификатор серверной части

Usage

Заметки об использовании

  • Эту политику можно использовать несколько раз для определения политики.
  • Для этой политики можно настроить не более 5 пользовательских измерений.
  • Эта политика может быть настроена при добавлении API из службы Azure OpenAI с помощью портала.
  • Где доступно, значения в разделе использования ответа из API службы Azure OpenAI используются для определения метрик маркеров.
  • Некоторые конечные точки Azure OpenAI поддерживают потоковую передачу ответов. Если stream задано значение true в запросе API для включения потоковой передачи, оцениваются метрики маркеров.

Example

В следующем примере метрики количества маркеров Azure OpenAI отправляются в Application Insights вместе с идентификатором API в качестве измерения по умолчанию.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Связанный контент

Дополнительные сведения о работе с политиками см. в нижеуказанных статьях.

  • Last updated on