Ведение аналитического журнала для Службы хранилища Azure

В аналитике хранилища регистрируется подробная информация об успешных и неудачных запросах к службе хранилища. Эта информация может использоваться для мониторинга отдельных запросов и диагностики неполадок в службе хранилища. Запросы вносятся в журнал по мере возможностей. Это означает, что большинство запросов приведет к записи журнала, но полнота и сроки действия журналов Аналитики Службы хранилища не гарантированы.

Журналирование аналитики хранилища не включено по умолчанию для вашей учетной записи хранения. Его можно включить на портале Azure или с помощью PowerShell или Azure CLI. Пошаговые инструкции см. в статье Включение журналов Аналитики Службы хранилища Azure и управление ими (классическая модель).

Вы также можете включить журналы аналитики хранилища программно, используя REST API или клиентскую библиотеку. Чтобы включить Аналитику Службы хранилища для каждой службы, можно использовать операции Получить свойства службы BLOB, Получить свойства службы очередей, Получить свойства службы таблиц. См. пример, который включает журналы аналитики хранения с использованием .NET в разделе Включение журналов.

Записи журнала создаются только при получении запроса к конечной точке службы. Например, если у учетной записи хранения обнаруживается активность в конечной точке BLOB-службы, но не в ее конечных точках служб Таблиц или Очередей, то будут созданы только журналы, относящиеся к BLOB-службе.

Запросы, зарегистрированные в системе логирования

Ведение журналов запросов, прошедших аутентификацию

Регистрируются запросы, прошедшие проверку подлинности, следующих типов.

• Успешные запросы

• Неудачные запросы, в том числе из-за ошибок, связанных со временем ожидания, регулированием, сетью, авторизацией и т. п.

• Запросы, в которых используется подписанный URL-адрес (SAS) или OAuth, в том числе неудачные и успешные запросы.

• Запросы к данным аналитики

  Запросы, выполненные в самой аналитике хранилища, такие как запросы на создание или удаление журнала, не регистрируются. Полный список регистрируемых данных приведен в разделах Операции с протоколированием и сообщения о состоянии аналитики хранилища и Формат журналов аналитики хранилища.

Ведение журналов анонимных запросов

Регистрируются анонимные запросы следующих типов:

• Успешные запросы

• Ошибки сервера.

• Ошибки таймаута для клиента и сервера.

• Неудачные запросы GET с кодом ошибки 304 (не изменено).

  Остальные неудачные анонимные запросы не регистрируются. Это может включать запросы, содержащие подписанный URL-адрес (SAS), но сбой проверки (например, несоответствие подписи SAS). В таких случаях служба не может надежно идентифицировать вызывающего абонента, поэтому запрос рассматривается как анонимный для ведения журнала. Кроме того, так как данные журнала Службы аналитики хранилища, записанные в $logs контейнер, выставляются в учетную запись хранения, ведение журнала каждого недопустимого или неуверенного запроса может включать сценарии повышения затрат и злоупотреблений (например, вредоносный клиент, создающий большие объемы недопустимых запросов для увеличения объема журнала).

  Полный список регистрируемых данных приведен в разделах Операции с протоколированием и сообщения о состоянии аналитики хранилища и Формат журналов аналитики хранилища.

Хранение журналов

Все журналы хранятся в блочных BLOB-объектах в контейнере с именем $logs, который автоматически создается при включении Аналитики Службы хранилища для учетной записи хранилища. Контейнер $logs находится в пространстве имен BLOB-объекта учетной записи хранения, например: http://<accountname>.blob.core.windows.net/$logs. После включения аналитики хранилища этот контейнер нельзя удалить, но вы можете удалить его содержимое. Если вы используете инструмент просмотра хранилища для прямого перехода к контейнеру, вы увидите все BLOB-ы, содержащие данные журнала.

По мере регистрации запросов Storage Analytics загружает промежуточные результаты в виде блоков. Периодически эти блоки фиксируются в аналитике хранилища и к ним предоставляется доступ как к большим двоичным объектам. Появление данных журнала в BLOB-объектах в контейнере $logs может занимать до одного часа из-за частоты, с которой Служба хранения сбрасывает данные записи журнала. В журналах, созданных в один и тот же час, могут присутствовать повторяющиеся записи. Вы можете определить, является ли запись двойной, проверив идентификатор запроса RequestId и номер операции.

Если у вас есть большой объем данных журналов с несколькими файлами на каждый час, вы можете использовать метаданные BLOB, чтобы определить, какие данные содержит журнал, изучая поля метаданных. Этот прием также полезен по той причине, что иногда при записи данных в файл журнала имеет место задержка. Метаданные содержат более точные сведения о содержимом BLOB-объекта, чем имя BLOB-объекта.

Большинство инструментов для просмотра хранилища позволяет просматривать метаданные BLOB-объектов; также вы можете получить эти данные с использованием PowerShell или программным способом. Следующий фрагмент команды PowerShell является примером фильтрации списка BLOB-объектов журнала по имени для указания времени, а также по метаданным с целью определения только тех журналов, которые содержат операции записи.

Get-AzStorageBlob -Container '$logs' |  
Where-Object {  
    $_.Name -match 'blob/2014/05/21/05' -and   
    $_.ICloudBlob.Metadata.LogType -match 'write'  
} |  
ForEach-Object {  
    "{0}  {1}  {2}  {3}" -f $_.Name,   
    $_.ICloudBlob.Metadata.StartTime,   
    $_.ICloudBlob.Metadata.EndTime,   
    $_.ICloudBlob.Metadata.LogType  
}  

Сведения о программном методе отображения BLOB-объектов см. в статьях Перечисление ресурсов хранилища BLOB-объектов и Настройка и получение свойств и метаданных для ресурсов службы BLOB-объектов.

Соглашения об именовании журналов

Каждый журнал записывается в следующем формате.

<service-name>/YYYY/MM/DD/hhmm/<counter>.log

В следующей таблице описан каждый атрибут имени журнала.

Ниже приведено полное название журнала, объединяющее вышеупомянутые примеры.

blob/2011/07/31/1800/000001.log

Ниже приведен пример URI, который может использоваться для получения доступа к указанному журналу.

https://<accountname>.blob.core.windows.net/$logs/blob/2011/07/31/1800/000001.log

При регистрации запроса хранилища имя результирующего журнала сопоставляется с часом завершения запрошенной операции. Например, если запрос GetBlob был завершен в 18:30 31.07.2011 г., то журнал должен быть записан со следующим префиксом: blob/2011/07/31/1800/.

Метаданные журнала

Все блобы логов хранятся с метаданными, которые позволяют определить, какие данные журнала содержатся в блобе. В следующей таблице описан каждый атрибут метаданных.

В следующем списке отображается полный образец метаданных, в котором используются приведенные выше примеры.

• LogType=write
• StartTime=2011-07-31T18:21:46Z
• EndTime=2011-07-31T18:22:09Z
• LogVersion=1.0

Записи журнала

В следующих разделах приводится пример записи журнала для каждой поддерживаемой службы хранилища Azure.

Пример записи журнала для Blob-хранилища

2.0;2022-01-03T20:34:54.4617505Z;PutBlob;SASSuccess;201;7;7;sas;;logsamples;blob;https://logsamples.blob.core.windows.net/container1/1.txt?se=2022-02-02T20:34:54Z&sig=XXXXX&sp=rwl&sr=c&sv=2020-04-08&timeout=901;"/logsamples/container1/1.txt";xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxx;0;172.16.0.0:53371;2019-12-12;654;13;337;0;13;"xxxxxxxxxxxxxxxxxxxxx==";"xxxxxxxxxxxxxxxxxxxxx==";""0x8D9CEF88004E296"";Monday, 03-Jan-22 20:34:54 GMT;;"Microsoft Azure Storage Explorer, 1.20.1, win32, azcopy-node, 2.0.0, win32, AzCopy/10.11.0 Azure-Storage/0.13 (go1.15; Windows_NT)";;"xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxx";;;;;;;;

Пример записи журнала для хранилища BLOB-объектов (включена data Lake Storage)

2.0;2022-01-04T22:50:56.0000775Z;RenamePathFile;Success;201;49;49;authenticated;logsamples;logsamples;blob;"https://logsamples.dfs.core.windows.net/my-container/myfileorig.png?mode=legacy";"/logsamples/my-container/myfilerenamed.png";xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxx;0;172.16.0.0;2020-04-08;591;0;224;0;0;;;;Friday, 11-Jun-21 17:58:15 GMT;;"Microsoft Azure Storage Explorer, 1.19.1, win32 azsdk-js-storagedatalake/12.3.1 (NODE-VERSION v12.16.3; Windows_NT 10.0.22000)";;"xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxx";;;;;;;;

Пример записи журнала для Хранилища очередей

2.0;2022-01-03T20:35:04.6097590Z;PeekMessages;Success;200;5;5;authenticated;logsamples;logsamples;queue;https://logsamples.queue.core.windows.net/queue1/messages?numofmessages=32&peekonly=true&timeout=30;"/logsamples/queue1";xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxx;0;172.16.0.0:53385;2020-04-08;536;0;232;62;0;;;;;;"Microsoft Azure Storage Explorer, 1.20.1, win32 azsdk-js-storagequeue/12.3.1 (NODE-VERSION v12.16.3; Windows_NT 10.0.22000)";;"xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxx";;;;;;;;

Пример записи журнала для Хранилища таблиц

1.0;2022-01-03T20:35:13.0719766Z;CreateTable;Success;204;30;30;authenticated;logsamples;logsamples;table;https://logsamples.table.core.windows.net/Tables;"/logsamples/Table1";xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxx;0;172.16.0.0:53389;2018-03-28;601;22;339;0;22;;;;;;"Microsoft Azure Storage Explorer, 1.20.1, win32, Azure-Storage/2.10.3 (NODE-VERSION v12.16.3; Windows_NT 10.0.22000)";;"xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxx"

Следующие шаги

• Включение журналов Аналитики Службы хранилища Azure и управление ими (классическая модель)
• Формат журналов аналитики хранилища
• Протоколируемые операции и сообщения о состоянии аналитики хранилища
• Метрики аналитики хранилища (стандартные)