Доступ к журналам диагностики для Azure Data Lake Analytics

Ведение журнала диагностики позволяет собирать логи аудита доступа к данным. Эти журналы предоставляют такие сведения, как:

• Список пользователей, обращаюющихся к данным.
• Как часто осуществляется доступ к данным.
• Сколько данных хранится в учетной записи.

Включение ведения журнала

1. Войдите на портал Azure.

2. Откройте учетную запись Data Lake Analytics и выберите параметры диагностики в разделе "Мониторинг ". Затем нажмите кнопку +Добавить параметр диагностики.

   

3. В разделе "Диагностика" введите имя для этой конфигурации ведения журнала и выберите параметры ведения журнала.

   

   • Вы можете хранить и обрабатывать данные четырьмя способами.

     • Выберите "Архивировать" в учетную запись хранения для хранения журналов в учетной записи хранения Azure. Используйте этот параметр, если вы хотите архивировать данные. Если этот параметр выбран, необходимо предоставить учетную запись хранения Azure, чтобы сохранить журналы.

     • Выберите Stream в концентратор событий для потоковой передачи данных журнала в Центры событий Azure. Используйте этот параметр, если у вас есть подчиненный конвейер обработки, который анализирует входящие журналы в режиме реального времени. Если этот параметр выбран, необходимо указать сведения для центров событий Azure, которые вы хотите использовать.

     • Выберите "Отправить в рабочую область Log Analytics" , чтобы отправить данные в службу Azure Monitor. Используйте этот параметр, если вы хотите использовать журналы Azure Monitor для сбора и анализа журналов.

     • Выберите отправку в партнерское решение , если вы хотите использовать нашу интеграцию с партнером. Дополнительную информацию вы можете получить по этой ссылке.

   • Укажите, хотите ли вы получать журналы аудита или запрашивать журналы или оба. Журнал запросов записывает каждый запрос API. Журнал аудита записывает все операции, активируемые этим запросом API.

   • Чтобы архивировать в учетную запись хранения, укажите количество дней для хранения данных.

   • Нажмите кнопку "Сохранить".

     Примечание.

     Перед нажатием кнопки "Сохранить" необходимо выбрать архив в учетную запись хранения, потоковую передачу в концентратор событий, отправить в рабочую область Log Analytics или отправить в партнерское решение.

Использование учетной записи хранения Azure, содержащей данные журнала

1. Чтобы отобразить контейнеры BLOB-объектов, в которых хранятся данные ведения журнала, откройте учетную запись хранения Azure, используемую для ведения журнала Data Lake Analytics, а затем выберите Контейнеры.

   • Контейнер insights-logs-audit содержит журналы аудита.
   • Контейнер insights-logs-requests содержит журналы запросов.

2. В контейнерах журналы хранятся в следующей структуре файлов:

   resourceId=/
     SUBSCRIPTIONS/
       <<SUBSCRIPTION_ID>>/
         RESOURCEGROUPS/
           <<RESOURCE_GRP_NAME>>/
             PROVIDERS/
               MICROSOFT.DATALAKEANALYTICS/
                 ACCOUNTS/
                   <DATA_LAKE_ANALYTICS_NAME>>/
                     y=####/
                       m=##/
                         d=##/
                           h=##/
                             m=00/
                               PT1H.json
   

   Примечание.

   Записи ## в пути содержат год, месяц, день и час создания журнала. Data Lake Analytics создает один файл каждый час, поэтому m= всегда содержит значение 00.

   Например, полный путь к журналу аудита может быть следующим:

   https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=04/m=00/PT1H.json

   Аналогичным образом, полный путь к журналу запросов может быть следующим:

   https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Обработка данных журнала

Azure Data Lake Analytics предоставляет пример обработки и анализа данных журнала. Пример можно найти по https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSampleадресу.

Структура журнала

Журналы аудита и запроса находятся в структурированном формате JSON.

Журналы запросов

Ниже приведен пример записи в журнале запросов в формате JSON. Каждый объект 'blob' имеет один корневой объект, называемый записью, содержащий массив объектов журнала.

{
"records":
  [
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_analytics_account_name>",
         "category": "Requests",
         "operationName": "GetAggregatedJobHistory",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {
             "HttpMethod":"POST",
             "Path":"/JobAggregatedHistory",
             "RequestContentLength":122,
             "ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8",
             "StartTime":"2016-07-07T21:02:52.472Z",
             "EndTime":"2016-07-07T21:02:53.456Z"
             }
    }
    ,
    . . . .
  ]
}

Схема журнала запроса

Схема свойств журнала запроса

Журналы аудита

Ниже приведен пример записи в журнале аудита в формате JSON. Каждый блоб имеет один корневой объект, называемый запись, который содержит массив объектов журнала.

{
"records":
  [
    {
         "time": "2016-07-28T19:15:16.245Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_ANALYTICS_account_name>",
         "category": "Audit",
         "operationName": "JobSubmitted",
         "identity": "user@somewhere.com",
         "properties": {
             "JobId":"D74B928F-5194-4E6C-971F-C27026C290E6",
             "JobName": "New Job",
             "JobRuntimeName": "default",
             "SubmitTime": "7/28/2016 7:14:57 PM"
             }
    }
  ]
}

Схема журнала аудита

Схема свойств журнала аудита

Дальнейшие действия

• Обзор Azure Data Lake Analytics
• Устранение неполадок заданий U-SQL