Примечание
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В этом обзоре приведены api мониторинга Spark, доступные в Microsoft Fabric. Он предназначен для разработчиков и инженеров данных, которым требуются надежные возможности мониторинга и диагностики для приложений Spark.
API-интерфейсы мониторинга Spark Fabric
Fabric предоставляет API для мониторинга приложений Spark на уровне рабочей области и элементов, а также подробных диагностических данных для отдельных приложений Spark.
API рабочей среды и Item-Level
| Программные интерфейсы | Описание |
|---|---|
| Приложения Spark в рабочей области | Получение списка приложений Spark в рабочей области. |
| Приложения Spark для записной книжки | Получите список приложений Spark, связанных с записной книжкой. |
| Приложения Spark для определения задания Spark | Получение списка приложений Spark, связанных с определением задания Spark. |
| Приложения Spark для Lakehouse | Получите список приложений Spark, связанных с Lakehouse. |
Единый API-интерфейс приложения Spark
Эти API используются для глубокой диагностики, предоставляя подробные сведения, метрики и журналы для отдельных приложений Spark.
| Программные интерфейсы | Описание |
|---|---|
| Запуск записной книжки | Для извлечения подробной информации о приложении Spark, которое выполнило определенный запуск записной книжки. |
| Отправка определения задания Spark | Получение подробных сведений о приложениях Spark, инициированных с помощью определений заданий Spark. |
| Операция Lakehouse | Извлеките подробные сведения о приложении Spark, активированном операцией Lakehouse. |
| API метрик с открытым кодом Spark | Полностью соответствует API сервера истории Spark для сбора метрик Spark. |
| Журнал Livy | Извлечение журналов Spark Livy для получения подробной информации о сеансе. |
| Журнал драйверов | Доступ к журналам драйверов для отладки проблем на уровне приложения. |
| Журнал Исполнителя | Получение журналов исполнителя для устранения проблем с распределенным выполнением. |
| API использования ресурсов | Мониторинг сведений об использовании ресурсов Spark. |
Дальнейшие действия
Используйте следующие ресурсы для быстрого доступа к API для перечисления сеансов Livy и подробной диагностики для приложений Spark:
- API рабочей области и уровня элемента
Список всех завершенных и активных сеансов Livy.
- Рабочая область — Список сеансов (Spark)
- Записная книжка — Список сеансов
- Определение задания Spark — список сеансов (определение задания Spark)
- Lakehouse - Список сеансов (Lakehouse)
API приложения Single Spark
a. Получение информации о приложении
- Записная книжка — Получить сеанс Livy (записная книжка)
- Определение задания Spark— получение сеанса Livy (SparkJobDefinition)
- Lakehouse - Get Livy Session (Lakehouse)
б. Получение журналов и метрик