Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Служба моделей предоставляет расширенные средства для мониторинга качества и работоспособности моделей и их развертываний. В следующей таблице представлен обзор каждого средства мониторинга.
| инструмент | Описание | Purpose | Доступ |
|---|---|---|---|
| Эфемерные журналы служб |
stdout Записывает и stderr передает потоки из конечной точки обслуживания модели. |
Полезно для отладки во время развертывания модели. Используйте logging.warning(...) или logging.error(...) для немедленного отображения в журналах. |
Доступно с помощью вкладки "Журналы" в пользовательском интерфейсе обслуживания. Журналы передаются в режиме реального времени и могут экспортироваться через API. |
| OpenTelemetry для пользовательских конечных точек обслуживания моделей | Сохраняет стандартные системные журналы, пользовательские журналы приложений, метрики и трассировки в Delta-таблицы Unity Catalog с помощью OpenTelemetry для долгосрочного хранения. | Полезно для исторической отладки, требований к соответствию требованиям и анализа рабочих проблем с помощью запросов SQL. | Настройте параметры телеметрии в пользовательском интерфейсе обслуживания или API при создании конечной точки. Запросы журналов с использованием SQL каталога Unity или рабочих тетрадей Azure Databricks. |
| Журналы сборки | Отображает выходные данные процесса, который автоматически создает рабочую среду Python для конечной точки обслуживания модели. | Полезно для диагностики проблем с развертыванием модели и зависимостей. | Доступно после завершения сборки модели в разделе "Журналы сборки " на вкладке "Журналы ". Журналы можно экспортировать через API. Эти журналы хранятся до 30 дней. |
| Метрики работоспособности конечных точек | Предоставляет аналитические сведения о метриках инфраструктуры, таких как задержка, скорость запросов, скорость ошибок, использование ЦП и использование памяти. | Важно понимать производительность и работоспособность инфраструктуры обслуживания. | Доступно по умолчанию в пользовательском интерфейсе обслуживания за последние 14 дней. Данные также можно передавать в средства наблюдения в режиме реального времени. |
| таблицы вывода с поддержкой шлюза ИИ | Автоматически регистрирует запросы и ответы онлайн в таблицы Delta, управляемые каталогом Unity, для конечных точек, которые обслуживают пользовательские модели, внешние модели или рабочие нагрузки с зарезервированной пропускной способностью. | Используйте это средство для мониторинга и отладки качества модели или ответов, создания наборов данных обучения или проведения аудита соответствия требованиям. | Можно включить для существующих и новых конечных точек обслуживания моделей при активации функций шлюза ИИ с помощью интерфейса обслуживания (UI) или REST API. |
Подсказка
Используйте эти средства мониторинга для выявления узких мест производительности и оптимизации конечных точек. Для получения исчерпывающих стратегий оптимизации, см. раздел "Оптимизация конечных точек предоставления модели для продакшн.".