Поделиться через

Получение журналов исполнителя Spark с помощью API мониторинга Spark

В этой статье объясняется, как получить журналы логов исполнителя Spark.

Разрешения

The caller must have "read" permission on the item.

Required delegated scopes

Item.Read.All или Item.ReadWrite.All или одна из следующих трех групп (в соответствии с элементом, который активировал приложение Spark).

  • Notebook.Read.All или Notebook.ReadWrite.All
  • SparkJobDefinition.Read.All или SparkJobDefinition.ReadWrite.All
  • Lakehouse.Read.All или Lakehouse.ReadWrite.All

Поддерживаемые идентификации Microsoft Entra

Этот интерфейс API поддерживает учетные записи Microsoft, перечисленные в этом разделе.

Идентичность Поддержка
Пользователь Да
Service principal and Managed identities Да

Получение метаданных журнала исполнителя

Получение метаданных лог-файлов для исполнителей приложения Spark.

Интерфейс

With attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true

Без attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true

С использованием необязательных параметров:

With attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Без attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true&containerId={containerId}&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

Параметры URI

Имя In Обязательно Тип Описание
Идентификатор рабочего пространства путь Верно строка UUID Идентификатор рабочей области.
itemId путь Верно строка UUID The item ID of the notebook or Spark job definition or Lakehouse.
livyId путь Верно строка UUID Идентификатор сессии Livy.
идентификатор приложения путь Верно струна Идентификатор приложения Spark, например application_1704417105000_0001.
attemptId путь Неправда int Идентификатор попытки для этого идентификатора приложения. Если это не указано, используется идентификатор последней попытки.
идентификатор контейнера запрос Неправда струна Идентификатор конкретного контейнера для фильтрации. Если этот параметр не указан, фильтр не применяется к идентификатору контейнера.
префикс имени файла запрос Неправда струна Префикс имен файлов журнала для фильтрации. Если этот параметр не указан, фильтр не применяется к именам файлов.
offset, maxResults запрос Неправда int Начальный индекс и количество лог-файлов для получения:
— Для смещения минимальное значение равно 0. Значение по умолчанию — 0.
— Для maxResults допустимый диапазон составляет от 1 до 3000. Значение по умолчанию — 3000

Ответы

Имя Тип Описание
200 OK Список ContainerLogMeta Запрос успешно завершен

Примеры

Пример запроса

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1724388946961_0001/logs?type=executor&meta=true&filenamePrefix=stdout

Пример ответа

Код состояния: 200.

[ 
      { 
         "containerId": "container_1724388946961_0001_01_000001", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
            { 
               "fileName": "stdout", 
               "fileSize": "508", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            },
            { 
               "fileName": "stdout-active", 
               "fileSize": "0", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            }
      ]
   }, 
   { 
         "containerId": "container_1724388946961_0001_01_000002", 
         "nodeId": "vm-90240157:35195", 
         "containerLogMeta": [ 
         { 
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:45 +0000 2024" 
         },
         { 
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:47 +0000 2024" 
         }
      ] 
   },
   {
         "containerId": "container_1724388946961_0001_01_000003", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
         {
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:39 +0000 2024" 
         },
         {
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:41 +0000 2024" 
         } 
      ] 
   } 
]

Получение содержимого журнала исполнителя

Получение содержимого файла журнала исполнителя приложения Spark.

Интерфейс

Без attemptId

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}

С использованием необязательных параметров:

Без идентификатора попытки

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}&size={size}

Параметры URI

Имя In Обязательно Тип Описание
Идентификатор рабочего пространства путь Верно строка UUID Идентификатор рабочей области.
itemId путь Верно строка UUID The item ID of the notebook or Spark job definition or Lakehouse.
livyId путь Верно строка UUID Идентификатор сессии Livy.
идентификатор приложения путь Верно струна Идентификатор приложения Spark, например application_1704417105000_0001.
идентификатор контейнера запрос Верно струна Идентификатор конкретного контейнера, в котором размещается исполнитель.
имя файла запрос Верно струна Имя конкретного файла для получения содержимого
размер запрос Неправда длинный Размер (в байтах), который нужно прочитать с начала содержимого файла. Значение по умолчанию — 1M (1024*1024) байт

Примеры

Пример запроса

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1731308630223_0001/logs?type=executor&containerId=container_1704417105000_0001_01_000001&fileName=stdout