Мониторинг Azure OpenAI (классическая версия)

Применяется только к:Портал Foundry (классический). Эта статья недоступна для нового портала Foundry. Дополнительные сведения о новом портале.

В этой статье рассматриваются следующие вопросы:

• Типы данных мониторинга, которые можно собирать для этой службы.
• Способы анализа данных.

Если у вас есть критически важные приложения и бизнес-процессы, использующие Azure ресурсы, необходимо отслеживать и получать оповещения для системы. Служба Azure Monitor собирает и агрегирует метрики и журналы из каждого компонента системы. Azure Monitor предоставляет представление о доступности, производительности и устойчивости, а также уведомляет вас о проблемах. Вы можете использовать портал Azure, PowerShell, Azure CLI, REST API или клиентские библиотеки для настройки и просмотра данных мониторинга.

• Дополнительные сведения о Azure Monitor см. в обзоре Azure Monitor.
• Дополнительные сведения о том, как отслеживать ресурсы Azure, см. в разделе «Мониторинг ресурсов Azure с помощью Azure Monitor».

Dashboards

Azure OpenAI предоставляет готовые к использованию дашборды для каждого из ресурсов Azure OpenAI. Существует две ключевые панели мониторинга для мониторинга ресурса:

• Панель мониторинга метрик в представлении ресурсов Foundry Azure OpenAI
• Панель мониторинга на панели обзора на портале Azure

Чтобы получить доступ к панелям мониторинга, войдите на портал Azure и выберите область обзора для одного из Azure ресурсов OpenAI. Чтобы просмотреть панель мониторинга метрик Foundry на портале Azure, выберите область обзора и перейдите на портал Microsoft Foundry. В разделе "Средства" выберите панель мониторинга метрик.

Панели мониторинга группируются в четыре категории: HTTP-запросы, использование на базе токенов, использование PTU и тонкая настройка.

Сбор и маршрутизация данных в Azure Monitor

Azure OpenAI собирает те же типы данных мониторинга, что и другие Azure ресурсы. Вы можете настроить Azure Monitor для создания данных в журналах действий, журналах ресурсов, журналах виртуальных машин и метрик платформы. Дополнительные сведения см. в разделе Monitoring data from Azure resources.

Метрики платформы и журнал действий Azure Monitor собираются и хранятся автоматически. Эти данные можно направлять в другие расположения с помощью настройки диагностики. Azure Monitor ресурсные журналы не начинают собираться и храниться до тех пор, пока вы не создадите диагностическую настройку и не перенаправите журналы в одно или несколько мест.

Создавая параметр диагностики, нужно указать, какие категории журналов должны собираться. Дополнительные сведения о создании диагностической настройки с помощью портала Azure, Azure CLI или PowerShell см. в Создание диагностической настройки для сбора журналов и метрик платформы в Azure.

Помните, что использование параметров диагностики и отправка данных в журналы Azure Monitor имеет другие затраты, связанные с ним. Дополнительные сведения см. в разделе Azure Monitor Вычисления затрат и параметры журналов.

Собранные метрики и журналы описаны в следующих разделах.

Типы ресурсов

Azure использует концепцию типов ресурсов и идентификаторов для идентификации всего в подписке. Типы ресурсов также являются частью идентификаторов ресурсов для каждого ресурса, работающего в Azure. Например, один тип ресурса для виртуальной машины — Microsoft.Compute/virtualMachines. Список служб и связанных с ними типов ресурсов см. в разделе Resource provider.

Azure Monitor аналогично упорядочивает данные мониторинга ядра в метрики и журналы на основе типов ресурсов, также называемых namespaces. Различные метрики и журналы доступны для различных типов ресурсов. Служба может быть связана с несколькими типами ресурсов.

Дополнительные сведения о типах ресурсов для Azure OpenAI см. в Azure справочнике по данным мониторинга OpenAI.

Хранение данных

Для Azure Monitor:

• Данные метрик хранятся в базе данных метрик Azure Monitor.
• Данные журнала хранятся в хранилище журналов Azure Monitor. Log Analytics — это средство на портале Azure, которое может запрашивать это хранилище.
• Журнал действий Azure — это отдельное хранилище с собственным интерфейсом на портале Azure.

При необходимости можно направлять данные журнала метрик и действий в хранилище журналов Azure Monitor. Затем можно использовать Log Analytics для запроса данных и сопоставления их с другими данными журнала.

Многие службы могут использовать параметры диагностики для отправки данных метрик и журналов в другие расположения хранилища за пределами Azure Monitor. Примерами являются хранилище Azure, размещённые партнёрские системы и партнёрские системы вне Azure с использованием Центров событий.

Подробные сведения о том, как Azure Monitor хранят данные, см. в разделе Azure Monitor платформа данных.

Метрики платформы Azure Monitor

Azure Monitor предоставляет метрики платформы для большинства служб. Эти метрики перечислены ниже.

• Определяется отдельно для каждого пространства имен.
• Хранится в базе данных метрик временных рядов Azure Monitor.
• Лёгкий и может поддерживать оповещения практически в режиме реального времени.
• Используется для отслеживания производительности ресурса с течением времени.

Collection: Azure Monitor собирает метрики платформы автоматически. Настройка не требуется.

Маршрутизация: Вы также можете направить некоторые метрики платформы в Azure Monitor Logs / Log Analytics, чтобы выполнять к ним запросы вместе с другими данными журнала. Проверьте параметр экспорта DS для каждой метрики, чтобы узнать, можно ли использовать параметр диагностики для маршрутизации метрик в журналы Azure Monitor / Log Analytics.

• Дополнительные сведения см. в диагностических параметрах Метрики.
• Для настройки параметров диагностики для службы см. Create diagnostic settings in Azure Monitor.

Для получения списка всех метрик, которые можно собрать для всех ресурсов в Azure Monitor, см. Поддерживаемые метрики в Azure Monitor.

Azure OpenAI имеет общие черты с подмножеством инструментов Foundry. Список доступных метрик для Azure OpenAI см. в Azure справочнике по данным мониторинга OpenAI.

журналы ресурсов Azure Monitor

Журналы ресурсов предоставляют представление об операциях, выполненных Azure ресурсом. Журналы создаются автоматически, но их необходимо перенаправить в Azure Monitor журналы, чтобы сохранить или запросить их. Логи организованы по категориям. Заданное пространство имен может содержать несколько категорий журналов ресурсов.

Сбор данных: Журналы ресурсов не собираются и не хранятся, пока вы не создадите диагностическую настройку и не перенаправите журналы в одно или несколько местоположений. Создавая параметр диагностики, нужно указать, какие категории журналов должны собираться. Существует несколько способов создания и обслуживания параметров диагностики, включая портал Azure, программно и с помощью Политика Azure.

Маршрутизация: По умолчанию рекомендуется направлять журналы ресурсов в журналы Azure Monitor, чтобы выполнять запросы к ним вместе с другими журналами данных. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые Microsoft партнеры по мониторингу. Дополнительные сведения см. в разделе журналы ресурсов Azure и назначения журналов ресурсов.

Подробные сведения о сборе, хранении и маршрутизации журналов ресурсов см. в разделе Diagnostic settings in Azure Monitor.

Список всех доступных категорий журналов ресурсов в Azure Monitor см. в разделе Supported resource logs in Azure Monitor.

Все журналы ресурсов в Azure Monitor имеют одинаковые поля заголовка, а затем поля для конкретной службы. Общая схема описана в схеме журнала ресурсов Azure Monitor.

Категории журналов доступных ресурсов, их связанные таблицы Log Analytics и схемы журналов для Azure OpenAI, см. в справочнике данных мониторинга Azure OpenAI.

журнал действий Azure

Журнал действий содержит события уровня подписки, отслеживающие операции для каждого Azure ресурса, как видно извне этого ресурса, например создание нового ресурса или запуск виртуальной машины.

Collection: события журнала действий автоматически создаются и собираются в отдельном хранилище для просмотра на портале Azure.

Routing: Вы можете отправлять данные журнала действий в журналы Azure Monitor, чтобы их можно было анализировать вместе с другими данными журнала. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые Microsoft партнеры по мониторингу. Дополнительные сведения о маршрутизации журнала действий см. в разделе Обзор журнала действий Azure.

Анализ данных мониторинга

Существует множество средств для анализа данных мониторинга.

средства Azure Monitor

Azure Monitor поддерживает следующие основные средства:

• обозреватель метрики на портале Azure, который позволяет просматривать и анализировать метрики для Azure ресурсов. Дополнительные сведения см. в разделе Анализ метрик с обозревателем метрик Azure Monitor.

• Log Analytics на портале Azure, который позволяет запрашивать и анализировать данные журнала с помощью языка запросов Kusto (KQL). Дополнительные сведения см. в разделе Начало работы с запросами журналов в Azure Monitor.

• Журнал активности, который имеет пользовательский интерфейс на портале Azure для просмотра и базовых поисков. Для более подробного анализа необходимо направлять данные в журналы Azure Monitor и выполнять более сложные запросы в Log Analytics.

Средства, которые позволяют более сложной визуализации, включают:

• Dashboards которые позволяют объединять различные виды данных в одну панель на портале Azure.
• Workbooks настраиваемые отчеты, которые можно создать на портале Azure. Рабочие книги могут включать текст, метрики и лог-запросы.
• Grafana — открытая платформа, которая прекрасно подходит для создания операционных панелей мониторинга. Grafana можно использовать для создания панелей мониторинга, включающих данные из нескольких источников, отличных от Azure Monitor.
• Power BI— служба бизнес-аналитики, которая предоставляет интерактивные визуализации в различных источниках данных. Вы можете настроить Power BI для автоматического импорта данных журнала из Azure Monitor для использования этих визуализаций.

Настройка параметров диагностики

Все метрики экспортируются с параметрами diagnostic в Azure Monitor. Чтобы проанализировать журналы и данные метрик с помощью запросов Azure Monitor Log Analytics, необходимо настроить параметры диагностики для ресурса OpenAI Azure и рабочей области Log Analytics.

После настройки параметров диагностики можно работать с метриками и данными журнала для ресурса OpenAI Azure в рабочей области Log Analytics.

инструменты экспорта Azure Monitor

Вы можете получить данные из Azure Monitor в другие средства с помощью следующих методов:

• Метрики: Используйте API REST для метрик для извлечения данных метрик из базы данных метрик Azure Monitor. API поддерживает выражения фильтров для уточнения полученных данных. Дополнительные сведения см. в справочнике Azure Monitor REST API.

• Logs: Используйте REST API или ассоциированные клиентские библиотеки.

• Другим вариантом является экспорт данных workspace.

Сведения о начале работы с REST API для Azure Monitor см. в руководстве по работе с REST API для Azure Monitor.

Запросы для Kusto

Вы можете анализировать данные мониторинга в хранилище журнала Azure Monitor / Log Analytics с помощью языка запросов Kusto (KQL).

Список распространенных запросов для любой службы см. в интерфейсе запросов Log Analytics.

После развертывания модели OpenAI Azure можно отправлять некоторые вызовы завершения с помощью среды playground в среде Foundry.

Любой текст, вводимый в песочнице Completions или в песочнице Chat completions создает метрики и данные журнала для ресурса Azure OpenAI. В рабочей области Log Analytics ресурса можно запрашивать данные мониторинга с помощью языка запросов Kusto.

1. На странице ресурсов OpenAI Azure в разделе Monitoring на левой панели выберите Logs.

2. Выберите рабочую область Log Analytics, которую вы настроили для диагностики ресурса Azure OpenAI.

3. На странице Log Analytics в разделе Overview на панели слева выберите Logs.

   На портале Azure отображается окно Queries с примерами запросов и предложений по умолчанию. Это окно можно закрыть.

В следующих примерах введите запрос Kusto в область редактирования в верхней части окна запроса и нажмите кнопку "Выполнить". Результаты запроса отображаются под текстом запроса.

Следующий запрос Kusto полезен для первоначального анализа данных Диагностика Azure (AzureDiagnostics) о вашем ресурсе:

AzureDiagnostics
| take 100
| project TimeGenerated, _ResourceId, Category, OperationName, DurationMs, ResultSignature, properties_s

Этот запрос возвращает пример из 100 записей и отображает подмножество доступных столбцов данных в журналах. В результатах запроса можно выбрать стрелку рядом с именем таблицы, чтобы просмотреть все доступные столбцы и связанные типы данных.

Чтобы просмотреть все доступные столбцы данных, можно удалить строку параметров области | project ... из запроса:

AzureDiagnostics
| take 100

Чтобы проверить данные метрик Azure (AzureMetrics) для ресурса, выполните следующий запрос:

AzureMetrics
| take 100
| project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName

Запрос возвращает пример из 100 записей и отображает подмножество доступных столбцов данных Azure метрик:

Уведомления

Оповещения Azure Monitor уведомляют вас при обнаружении определенных условий в ваших данных мониторинга. Оповещения позволяют выявлять и устранять проблемы в системе, прежде чем клиенты заметят их. Дополнительные сведения см. в разделе оповещения Azure Monitor.

Существует множество источников распространенных оповещений для ресурсов Azure. Примеры распространенных оповещений для ресурсов Azure см. в статье Sample log alerts. Сайт Azure Monitor Базовые оповещения (AMBA) предоставляет полуавтомативный метод реализации важных оповещений метрик платформы, панелей мониторинга и рекомендаций. Сайт применяется к постоянно расширяющемуся подмножество служб Azure, включая все службы, которые являются частью целевой зоны Azure (ALZ).

Общая схема оповещений стандартизирует интеграцию уведомлений службы Azure Monitor. Дополнительные сведения см. в схеме оповещений Common.

Типов оповещений

Вы можете создавать оповещения для любой метрики или источника данных журнала в платформе данных Azure Monitor. Существует множество различных типов оповещений в зависимости от служб, которые вы отслеживаете, и данных мониторинга, которые вы собираете. Различные типы оповещений имеют различные преимущества и недостатки. Дополнительные сведения см. в разделе Выберите правильный тип оповещения для мониторинга.

В следующем списке описаны типы оповещений Azure Monitor, которые можно создать:

• Метрические оповещения оценивают метрики ресурсов через регулярные интервалы. Метрики могут быть метриками платформы, пользовательскими метриками, журналами из Azure Monitor, преобразованными в метрики, или метриками Application Insights. Оповещения на основе метрик также могут применять несколько условий и динамические пороговые значения.
• оповещения Log позволяют пользователям использовать запрос Log Analytics для оценки журналов ресурсов с предопределенной частотой.
• Activity log alerts триггер при возникновении нового события журнала действий, соответствующего определенным условиям. Оповещения Работоспособность ресурсов и оповещения о работоспособности служб — это оповещения журнала действий, которые сообщают о состоянии ваших служб и ресурсов.

Некоторые службы Azure также поддерживают умные оповещения об обнаружении, оповещения Prometheus или рекомендуемые правила оповещений.

Для некоторых служб можно отслеживать масштаб, применяя одно правило генерации оповещений метрик к нескольким ресурсам одного типа, которые существуют в одном регионе Azure. Для каждого отслеживаемого ресурса отправляются отдельные уведомления. Для получения сведений о поддерживаемых службах и облаках Azure см. раздел Мониторинг нескольких ресурсов с одним правилом оповещения.

Настройка оповещений

Потребности в оповещении каждой организации зависят и могут меняться с течением времени. Как правило, все оповещения должны действовать и иметь конкретный предполагаемый ответ, если возникнет оповещение. Если оповещение не требует немедленного ответа, условие можно записать в отчете вместо оповещения. В некоторых случаях использования может потребоваться оповещение в любое время, когда существуют определенные условия ошибки. В других случаях может потребоваться оповещение об ошибках, превышающих определенное пороговое значение для указанного периода времени.

Ошибки ниже определенных пороговых значений часто можно оценить с помощью регулярного анализа данных в журналах Azure Monitor. При анализе данных журнала с течением времени можно обнаружить, что определенное условие не происходит в течение ожидаемого периода времени. Это условие можно отслеживать с помощью оповещений. Иногда отсутствие события в журнале является таким же важным сигналом, как ошибка.

В зависимости от типа приложения, которое вы разрабатываете с помощью Azure OpenAI, Azure Monitor Application Insights могут предложить дополнительные преимущества мониторинга на уровне приложений.

правила генерации оповещений OpenAI Azure

Вы можете задать оповещения для любой метрики, записи журнала или записи журнала действий, указанных в справочнике по данным мониторинга Azure OpenAI.

Рекомендации помощника

Для некоторых служб, если во время операций ресурсов происходят критические условия или неизбежные изменения, на странице Обзор службы в портале отображается оповещение. Вы можете найти дополнительную информацию и рекомендуемые исправления для оповещения в рекомендациях Консультанта в разделе Мониторинг в меню слева. Во время обычных операций рекомендации помощника не отображаются.

Для получения дополнительных сведений об Помощник по Azure см. обзор Помощник по Azure.

Связанный контент

• Дополнительные сведения о метриках, журналах и других важных значениях, созданных для Azure OpenAI, см. в справочнике по данным мониторинга Azure OpenAI.
• Общие сведения о мониторинге ресурсов Azure с помощью Azure Monitor см. в разделе Мониторинг ресурсов Azure с Azure Monitor.
• Об истории поиска в журналах см. в разделе Поиск в журналах в Azure Monitor.