Поделиться через

Получение журналов драйверов Spark с помощью API мониторинга Spark

В этой статье объясняется, как получить журналы драйверов Spark.

Разрешения

Пользователь должен иметь разрешение на чтение элемента.

Обязательные делегированные полномочия

Item.Read.All или Item.ReadWrite.All или одна из следующих трех групп (в соответствии с элементом, который активировал приложение Spark).

  • Notebook.Read.All или Notebook.ReadWrite.All
  • SparkJobDefinition.Read.All или SparkJobDefinition.ReadWrite.All
  • Lakehouse.Read.All или Lakehouse.ReadWrite.All

Поддерживаемые идентификации Microsoft Entra

Этот API поддерживает удостоверения Microsoft, перечисленные в этом разделе.

Идентичность Поддержка
Пользователь Да
Представитель службы и управляемые удостоверения Да

Получение метаданных журнала драйверов

Получение метаданных файла журнала драйвера приложения Spark.

Интерфейс

С идентификатором попытки

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&meta=true&fileName={fileName}

Без attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&meta=true&fileName={fileName}

Параметры URI

Имя В Обязательно Тип Описание
Идентификатор рабочего пространства путь Верно строка uuid Идентификатор рабочей области.
идентификатор_элемента путь Верно строка uuid Идентификатор элемента для ноутбука, определения задания Spark или Lakehouse.
livyId путь Верно строка uuid Идентификатор сеанса Livy.
appId (идентификатор приложения) путь Верно струна Идентификатор приложения Spark, например application_1704417105000_0001.
attemptId путь Неправда инт Идентификатор попытки, связанный с этим идентификатором приложения. Если это не указано, используется идентификатор последней попытки.
имя файла запрос Верно струна Имя конкретного файла для получения метаданных.

Основное содержание запроса

Отсутствует

Ответы

Имя Тип Описание
200 OK (Запрос выполнен успешно) ContainerLogMeta Запрос успешно завершен

Примеры

Пример запроса

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/applications/application_1741176604085_0001/logs?type=driver&meta=true&fileName=stderr

Пример ответа

Код состояния: 200.

{ 
   "containerId": "container_1741176604085_0001_01_000001", 
   "nodeId": "vm-76895939:44851" 
   "containerLogMeta": { 
      "fileName": "stderr", 
      "length": 99067, 
      "lastModified": "2025-03-05T12:31:31.000GMT", 
      "creationTime": "2025-03-05T10:30:30.000GMT", 
      "metaData": {} 
   } 
}

Извлечение метаданных журнала постоянно обновляемого драйвера

Получите метаданные вращающихся файлов журналов драйвера приложения Spark.

Интерфейс

С идентификатором попытки

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=rollingdriver&meta=true

Без attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=rollingdriver&meta=true

С использованием необязательных параметров:

С идентификатором попытки

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=rollingdriver&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Без attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=rollingdriver&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Параметры URI

Имя В Обязательно Тип Описание
Идентификатор рабочего пространства путь Верно строка uuid Идентификатор рабочей области.
идентификатор_элемента путь Верно строка uuid Идентификатор элемента для ноутбука, определения задания Spark или Lakehouse.
livyId путь Верно строка uuid Идентификатор сеанса Livy.
appId (идентификатор приложения) путь Верно струна Идентификатор приложения Spark, например application_1704417105000_0001.
attemptId путь Неправда инт Идентификатор попытки, связанный с этим идентификатором приложения. Если это не указано, используется идентификатор последней попытки.
префикс имени файла запрос Неправда струна Префикс имен файлов журнала для фильтрации может иметь значение stdout или stderr.
смещение (offset), максимальное количество результатов (maxResults) запрос Неправда инт Начальный индекс и количество файлов журнала для извлечения:
- Для смещения он начинается с 0. Допустимый диапазон составляет от 0 до 20 000. Значение по умолчанию — 0.
— Для maxResults допустимый диапазон составляет от 1 до 3000. Значение по умолчанию — 3000.

Основное содержание запроса

Отсутствует

Ответы

Имя Тип Описание
200 OK (Запрос выполнен успешно) ContainerLogMeta Запрос успешно завершен

Примеры

Пример запроса

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1725346176782_0001/logs?type=rollingdriver &meta=true&filenamePrefix=stderr

Пример ответа

Код состояния: 200.

{
	"containerId": "container_1725346176782_0001_01_000001",
	"nodeId": "vm-fe289417:42885",
	"containerLogMeta": [
		{
			"fileName": "stderr",
			"length": 205541,
			"lastModified": "2024-09-03T07:10:31.000GMT",
			"metaData": {}
		},
		{
			"fileName": "stderr-2024-09-03-06",
			"length": 100030,
			"lastModified": "2024-09-03T06:50:45.000GMT",
			"metaData": {}
		},
		{
			"fileName": "stderr-active",
			"length": 105511,
			"lastModified": "2024-09-03T07:10:31.000GMT",
			"metaData": {}
		}
	]
}

Получение содержимого журнала драйверов

Получение содержимого файла журнала драйвера приложения Spark.

Интерфейс

С идентификатором попытки

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&fileName={fileName}

Без attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&fileName={fileName}

С использованием необязательных параметров:

С идентификатором попытки

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=driver&fileName={fileName}&containerId={containerId}&isDownload={isDownload}&isPartial={isPartial}&offset={offset}&size={size}

Без attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=driver&fileName={fileName}&containerId={containerId}&isDownload={isDownload}&isPartial={isPartial}&offset={offset}&size={size}

Параметры URI

Имя В Обязательно Тип Описание
Идентификатор рабочего пространства путь Верно строка uuid Идентификатор рабочей области.
идентификатор_элемента путь Верно строка uuid Идентификатор элемента для ноутбука, определения задания Spark или Lakehouse.
livyId путь Верно строка uuid Идентификатор сеанса Livy.
appId (идентификатор приложения) путь Верно струна Идентификатор приложения Spark, например application_1704417105000_0001.
attemptId путь Неправда инт Идентификатор попытки, связанный с этим идентификатором приложения. Если это не указано, используется идентификатор последней попытки.
имя файла запрос Верно струна Имя конкретного файла для получения содержимого
containerId (идентификатор контейнера) запрос Неправда струна Идентификатор контейнера определённого драйвера. Не указывайте его, если вы не уверены, какой идентификатор у контейнера драйвера.
загрузка запрос Неправда булевая переменная (bool) Чтобы скачать лог-файл в виде потока, установите значение true. По умолчанию ложь.
частичный запрос Неправда булевая переменная (bool) Вступают в силу только в том случае, если значение isDownload имеет значение true. Чтобы скачать часть содержимого файла в соответствии с заданными смещением и размером, необходимо значение true. По умолчанию устанавливается значение false для скачивания всего файла.
смещение, размер запрос Неправда длинный Начальное смещение (в байтах) и размер (в байтах) для чтения содержимого файла. Вступает в силу только в том случае, если isDownload = true и isPartial = true
- Для смещения он начинается с 0. Допустимый диапазон составляет от 0 до 20 000. Значение по умолчанию — 0.
— Для размера значение по умолчанию равно 1M (1024*1024) байтам.
Обратите внимание, что параметр "offset" действителен только в то время как приложение Spark по-прежнему работает. После остановки работы приложения параметр не будет влиять. Рекомендуется рассмотреть возможность использования циклических журналов драйверов.

Основное содержание запроса

Отсутствует

Ответы

Имя Тип Описание
200 OK (Запрос выполнен успешно) Запрос успешно завершен

Примеры

Пример запроса

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1731308630223_0001/logs?type=driver&fileName=stderr&isDownload=true&isPartial=true&offset=100&size=1000

Определения

ContainerLogMeta

Объект

Метаданные файлов журнала с соответствующими сведениями о контейнере и узле

Имя Тип Описание
containerId (идентификатор контейнера) струна Идентификатор контейнера, в котором размещен драйвер или исполнитель.
nodeId струна Идентификатор узла, на котором находится контейнер
containerLogMeta Один FileMeta или список FileMeta Метаданные файла или списка файлов