Поделиться через

Выдача метрик для использования токенов Azure OpenAI

ОБЛАСТЬ ПРИМЕНЕНИЯ: все уровни Управление API

Политика azure-openai-emit-token-metric отправляет пользовательские метрики в Application Insights о использовании больших маркеров языковой модели через API-интерфейсы службы OpenAI Azure. Метрики счетчика маркеров включают: общие маркеры, маркеры запроса и маркеры завершения.

Note

Задайте элементы политики и дочерние элементы в порядке, указанном в правиле политики. Узнайте, как устанавливать или изменять политики службы управления API.

Поддерживаемые модели Azure OpenAI в моделях Foundry

Политика используется с API- интерфейсами, добавленными в управление API из Azure OpenAI в модели Foundry следующих типов:

API type Supported models
Chat completion gpt-3.5

gpt-4

gpt-4o

gpt-4o-mini

o1

o3
Embeddings text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002
Responses (preview) gpt-4o(версии: 2024-11-20, 2024-08-062024-05-13)

gpt-4o-mini (Версия: 2024-07-18)

gpt-4.1 (Версия: 2025-04-14)

gpt-4.1-nano (Версия: 2025-04-14)

gpt-4.1-mini (Версия: 2025-04-14)

gpt-image-1 (Версия: 2025-04-15)

o3 (Версия: 2025-04-16)

o4-mini (Версия: '2025-04-16)

Note

Традиционные API завершения доступны только в устаревших версиях модели и ограничена поддержка.

Текущие сведения о моделях и их возможностях см. в статье Azure OpenAI в модели Foundry.

Ограничения для пользовательских метрик

Azure Monitor накладывает ограничения на использование пользовательских метрик, которые могут повлиять на возможность отправки метрик из Управление API. Например, Azure Monitor в настоящее время задает ограничение в 10 ключей измерений на метрики и ограничение в 50 000 активных временных рядов в каждом регионе в подписке (в течение 12 часов). В службе управления API 5 из них используются для измерений по умолчанию, включая следующие:

  • Region
  • Service ID
  • Service Name
  • Service Type

Эти ограничения имеют следующие последствия для настройки пользовательских метрик в политике Управление API, напримерemit-metric:azure-openai-emit-token-metric

  • Можно настроить не более 5 пользовательских измерений для каждой политики.

  • Число активных временных рядов, создаваемых политикой в течение 12 часов, является продуктом числа уникальных значений каждого настроенного измерения в течение периода. Например, если в политике настроены три пользовательских измерения, а каждое измерение имеет 10 возможных значений в течение периода, политика будет способствовать 1000 (10 x 10 x 10) активных временных рядов.

  • Если вы настраиваете политику в нескольких экземплярах Управление API, которые находятся в одном регионе в подписке, все экземпляры могут способствовать ограничению активных временных рядов региона.

Дополнительные сведения об ограничениях проектирования и рекомендациях по пользовательским метрикам в Azure Monitor.

Prerequisites

Policy statement

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Attributes

Attribute Description Required Default value
namespace A string. Пространство имен метрик. Выражения политики не допускаются. No API Management

Elements

Element Description Required
dimension Добавьте один или несколько этих элементов для каждого измерения, включенного в метрику. Yes

Dimension attributes

Attribute Description Required Default value
name Строковое выражение или выражение политики. Имя измерения. Yes N/A
value Строковое выражение или выражение политики. Значение измерения. Можно опустить, только если name соответствует одному из измерений по умолчанию. Если это так, значение указывается в соответствии с именем измерения. No N/A

Имена измерений по умолчанию, которые могут использоваться без значения

  • API ID
  • Operation ID
  • Product ID
  • User ID
  • Subscription ID
  • Location
  • Gateway ID
  • Backend ID

Usage

Usage notes

  • Эту политику можно использовать несколько раз для определения политики.
  • Для этой политики можно настроить не более 5 пользовательских измерений.
  • Эта политика может быть настроена при добавлении API из службы Azure OpenAI с помощью портала.
  • Где доступно, значения в разделе использования ответа из API службы Azure OpenAI используются для определения метрик маркеров.
  • Некоторые конечные точки Azure OpenAI поддерживают потоковую передачу ответов. Если stream задано значение true в запросе API для включения потоковой передачи, оцениваются метрики маркеров.

Example

В следующем примере метрики количества маркеров Azure OpenAI отправляются в Application Insights вместе с идентификатором API в качестве измерения по умолчанию.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Related content

Дополнительные сведения о работе с политиками см. в нижеуказанных статьях.