Сбор журналов и метрик приложений Apache Spark с помощью учетной записи хранения Azure (предварительная версия)

Расширение диагностического эмиттера Fabric Apache Spark — это библиотека, которая позволяет приложениям Apache Spark выдавать журналы, журналы событий и метрики на несколько направлений, включая Azure Log Analytics, Azure Storage и Центры событий Azure.

В этом руководстве вы узнаете, как использовать расширение диагностического эмиттера Fabric Apache Spark для отправки журналов приложений Apache Spark, журналов событий и метрик в учетную запись хранения Azure.

Сбор журналов и метрик в учетную запись хранения

Шаг 1. Создание учетной записи хранения

Для сбора журналов диагностики и метрик можно использовать существующую учетную запись службы хранилища Azure. Если у вас его нет, можно создать учетную запись хранения BLOB-объектов Azure или создать учетную запись хранения для использования с Azure Data Lake Storage 2-го поколения.

Шаг 2. Создание артефакта среды Fabric с помощью конфигурации Apache Spark

Вариант 1: Настройка с помощью URI хранилища Azure и ключа доступа

1. Создание артефакта среды Fabric в Fabric

2. Добавьте следующие свойства Spark с соответствующими значениями в артефакт среды или выберите "Добавить из .yml" на ленте, чтобы скачать пример yaml-файла, который уже содержит указанные свойства.

   spark.synapse.diagnostic.emitters: MyStorageBlob
   spark.synapse.diagnostic.emitter.MyStorageBlob.type: "AzureStorage"
   spark.synapse.diagnostic.emitter.MyStorageBlob.categories: "DriverLog,ExecutorLog,EventLog,Metrics"
   spark.synapse.diagnostic.emitter.MyStorageBlob.uri:  "https://<my-blob-storage>.blob.core.windows.net/<container-name>/<folder-name>"
   spark.synapse.diagnostic.emitter.MyStorageBlob.auth: "AccessKey"
   spark.synapse.diagnostic.emitter.MyStorageBlob.secret: <storage-access-key>
   spark.fabric.pools.skipStarterPools: "true" //Add this Spark property when using the default pool.
   

   В файле конфигурации задайте следующие параметры: <my-blob-storage>, <container-name>, <folder-name> и <storage-access-key>. Для получения дополнительной информации об этих параметрах см. в конфигурациях хранения Azure.

Вариант 2. Настройка с помощью Azure Key Vault

Чтобы настроить Azure Key Vault для хранения ключа рабочей области:

1. На портале Azure создайте хранилище ключей и перейдите к нему.

2. На странице параметров хранилища ключей выберите "Секреты", а затем "Создать и импортировать".

3. На экране Создание секрета выберите следующие значения:

   • Имя — укажите имя секрета.
   • Значение — введите <storage-access-key> для секрета.
   • Оставьте другие значения по умолчанию. Затем выберите Создать.

4. Создайте артефакт среды Fabric в Fabric.

5. Добавьте следующие параметры Spark. Или выберите Добавить из .yml-файла на ленте, чтобы загрузить yaml-файл примера, который включает следующие свойства Spark.

   spark.synapse.diagnostic.emitters: <MyStorageBlob>
   spark.synapse.diagnostic.emitter.MyStorageBlob.type: "AzureStorage"
   spark.synapse.diagnostic.emitter.MyStorageBlob.categories: "DriverLog,ExecutorLog,EventLog,Metrics"
   spark.synapse.diagnostic.emitter.MyStorageBlob.uri:  "https://<my-blob-storage>.blob.core.windows.net/<container-name>/<folder-name>"
   spark.synapse.diagnostic.emitter.MyStorageBlob.auth: "AccessKey"
   spark.synapse.diagnostic.emitter.MyStorageBlob.secret.keyVault: <AZURE_KEY_VAULT_URI>
   spark.synapse.diagnostic.emitter.MyStorageBlob.secret.keyVault.secretName: <AZURE_KEY_VAULT_SECRET_KEY_NAME>
   spark.fabric.pools.skipStarterPools: "true" //Add this Spark property when using the default pool.
   

   Введите следующие параметры в файле конфигурации: <my-blob-storage>, <container-name>, <folder-name>, <AZURE_KEY_VAULT_URI>, <AZURE_KEY_VAULT_SECRET_KEY_NAME>. Для получения дополнительной информации об этих параметрах см. конфигурации хранилища Azure.

6. Сохраните и опубликуйте изменения.

Шаг 3. Присоедините артефакт среды к записным книжкам или спецификациям заданий Spark, или установите его в качестве стандарта для рабочей области.

Чтобы подключить среду к определениям заданий Spark и записных книжек, выполните следующие действия.

1. Перейдите к определенной записной книжке или определению задания Spark в Fabric.
2. Выберите меню "Среда" на вкладке "Главная" и выберите среду с настроенными свойствами Диагностика Spark.
3. Конфигурация применяется при запуске сеанса Spark.

Чтобы задать среду в качестве рабочей области по умолчанию, выполните следующие действия.

1. Перейдите к параметрам рабочей области в Fabric.
2. Найдите параметры Spark в параметрахрабочей области (параметр рабочей области —> Инжиниринг данных/Science —> параметры Spark).
3. Выберите вкладку "Среда", выберите среду с настроенными свойствами диагностики Spark, и нажмите кнопку "Сохранить".

Шаг 4. Просмотр файлов журналов в учетной записи хранения Azure

После отправки задания в настроенный сеанс Spark можно просмотреть файлы журналов и метрик в целевой учетной записи хранения. Журналы хранятся в соответствующих путях, которые зависят от разных приложений, указанных через <workspaceId>.<fabricLivyId>. Все файлы журнала находятся в формате строк JSON (также известных как json с разделителями newline или ndjson), что удобно для обработки данных.

Доступные конфигурации

Пример журнала данных

Ниже приведен пример записи журнала в формате JSON:

{
  "timestamp": "2025-02-28T09:13:57.978Z",
  "category": "Log|EventLog|Metrics",
  "fabricLivyId": "<fabric-livy-id>",
  "applicationId": "<application-id>",
  "applicationName": "<application-name>",
  "executorId": "<driver-or-executor-id>",
  "userId": "<the-submitter-user-id>",
  "fabricTenantId": "<my-fabric-tenant-id>",
  "capacityId": "<my-fabric-capacity-id>",
  "artifactType": "SynapseNotebook|SparkJobDefinition",
  "artifactId": "<my-fabric-artifact-id>",
  "fabricWorkspaceId": "<my-fabric-workspace-id>",
  "fabricEnvId": "<my-fabric-environment-id>",
  "executorMin": "<executor-min>",
  "executorMax": "<executor-max>",
  "isHighConcurrencyEnabled": "true|false",
  "properties": {
    // The message properties of logs, events and metrics.
    "timestamp": "2025-02-28T09:13:57.941Z",
    "message": "ApplicationAttemptId: appattempt_1740734011890_0001_000001",
    "logger_name": "org.apache.spark.deploy.yarn.ApplicationMaster",
    "level": "INFO",
    "thread_name": "main"
    // ...
  }
}

Рабочие области Fabric с управляемой виртуальной сетью

Создайте управляемую частную конечную точку для целевого хранилища Blob-объектов Azure. Подробные инструкции см. в статье "Создание и использование управляемых частных конечных точек" в Microsoft Fabric — Microsoft Fabric.

После утверждения управляемой частной конечной точки пользователи могут начать отправлять журналы и метрики в целевое хранилище blob-объектов Azure.

Следующие шаги

• Создание определения задания Apache Spark
• Создание, настройка и использование среды в Microsoft Fabric
• Создание и использование управляемых частных конечных точек в Microsoft Fabric
• Разработка, выполнение и управление записными книжками Microsoft Fabric
• Мониторинг приложений Spark