Диагностика OneLake

Диагностика OneLake обеспечивает сквозное представление о доступе к данным и их использовании в среде Microsoft Fabric. Это позволяет организациям отвечать на критически важные вопросы, такие как "кто обращается к тому, что, когда и как", поддерживает управление данными, оперативное понимание и отчеты о соответствии.

Если включить диагностику OneLake на уровне рабочей области, она передает события доступа к данным в виде журналов JSON в озеро, выбранное в пределах одной емкости. Эти журналы можно преобразовать в таблицы Delta, готовые к аналитике, чтобы команды могли создавать панели мониторинга и отчеты, отслеживающие шаблоны использования, элементы с верхним доступом и тенденции с течением времени.

Так как все данные в Fabric унифицированы в OneLake, диагностика на уровне рабочей области обеспечивает согласованную, надежную запись активности данных независимо от того, как и где используются данные. Эта запись включает:

• Действия пользователей в веб-интерфейсе Fabric
• Программный доступ через API, конвейеры и подсистемы аналитики
• Сочетания клавиш для различных рабочих областей с событиями, зарегистрированными в исходной рабочей области

Этот единый подход ведения журнала гарантирует сохранение видимости даже при доступе к данным через сочетания клавиш или между рабочими областями.

Диагностические события регистрируются как для источников Fabric, так и для источников не связанных с Fabric. Для доступа через интерфейс Fabric UI и API Blob или Azure Data Lake Storage (ADLS) каждая операция регистрируется. Для доступа к рабочим нагрузкам Fabric он записывает временный доступ, так что вы можете просмотреть специфические для движка журналы. Этот подход обеспечивает эффективное ведение журнала при сохранении видимости использования данных в организации.

Примеры сценариев, поддерживаемых диагностикой OneLake

• Исследование безопасности: отслеживайте, какие пользователи получают доступ к конфиденциальным наборам данных, когда и откуда следует выявлять попытки несанкционированного доступа или необычные шаблоны.
• Устранение неполадок с производительностью. Диагностика проблем с задержкой или сбоем путем сопоставления диагностических событий с действиями пользователя или взаимодействием с системой.
• Аналитика использования и оптимизация: Понимание того, к каким наборам данных чаще всего получают доступ, кем и как часто для поддержки управления данными и оптимизации ресурсов.
• Мониторинг интеграции: отслеживайте внешние системы, взаимодействующие с OneLake (через API или соединители), обеспечивая функционирование интеграции должным образом и диагностику проблем при возникновении.

Настройка диагностики OneLake

Предпосылки

• Создайте хранилище для хранения событий диагностики OneLake.
• Lakehouse должен находиться в той же среде, что и рабочие области, для которых требуется включить диагностику.
• Если рабочая область использует частные каналы для защиты входящей сети, она должна находиться в той же виртуальной сети, что и Lakehouse.
• Вы должны быть администратором той рабочей области, в которой вы включаете диагностику OneLake, а также участником целевого lakehouse.

Включение диагностики OneLake

Чтобы включить диагностику OneLake, выполните следующие действия.

1. Откройте параметры рабочей области.
2. Перейдите на вкладку параметров OneLake.
3. Переключите Добавление диагностических событий в хранилище в Включено.
4. Выберите лейкхаус, в котором вы хотите сохранить события диагностики.

Включение неизменяемых журналов диагностики

Вы можете сделать события диагностики OneLake неизменяемыми, что означает, что никто не может изменить или удалить JSON-файлы, содержащие диагностические события в течение неизменяемого периода хранения. Неизменяемость диагностики OneLake основана на неизменяемом хранилище для хранилища BLOB-объектов Azure. Дополнительные сведения см. в разделе «Хранение критически важных для бизнеса BLOB-данных с неизменяемым хранилищем в режиме "запись один раз, чтение много раз" (WORM)».

Неизменяемость не приводит к дополнительным расходам, но влияет на то, как долго диагностические данные остаются в хранилище. Так как файлы не могут быть удалены в течение неизменяемого периода, затраты на хранение увеличиваются по мере записи новых диагностических событий.

Вы настраиваете неизменяемый период в рабочей области, содержащей диагностическое озеро. Период неизменяемости применяется ко всем событиям, хранящимся в этой рабочей области.

1. Введите необходимый период неизменяемости.
2. Нажмите кнопку "Применить".

Изменение диагностического хранилища данных OneLake

Вы можете изменить, какое хранилище данных lakehouse хранит события диагностики.

Изменение структуры данных в lakehouse не влияет на существующие диагностические события. Ранее захваченные диагностические события остаются в исходном озере-хранилище. Новые события хранятся в только что выбранном озерном доме.

1. Откройте параметры рабочей области.
2. Перейдите на вкладку параметров OneLake.
3. Выберите Заменить лейкхауз.
4. Выберите новый лейкхаус.

Отключение диагностики OneLake

1. Откройте параметры рабочей области.
2. Перейдите на вкладку параметров OneLake.
3. Переключите переключатель "Добавить диагностические события" в lakehouse в off.

OneLake сохраняет диагностические сведения lakehouse. Если вы повторно включите диагностику, она использует то же озеро, что и раньше.

Рекомендации по лучшим практикам

Следуйте этим рекомендациям, чтобы упростить управление и улучшить управление доступом.

• Используйте выделенную рабочую область для журналов диагностики. Если вы включите диагностику в нескольких рабочих областях в одной емкости, рассмотрите возможность централизованного создания журналов в одном озерном доме, чтобы упростить анализ. Выделенная рабочая область изолирует разрешения и предотвращает вмешательство операционных рабочих нагрузок в данные аудита.

Если включить неизменяемые журналы диагностики, также рассмотрите следующие рекомендации:

• Ограничение ролей администратора рабочей области. Ограничьте администраторов рабочей области небольшой доверенной группой, ответственной за настройку неизменяемости и управление параметрами уровня рабочей области. Это разделение обязанностей предотвращает ситуацию, при которой одна команда одновременно создаёт диагностические данные и управляет средой, в которой хранятся журналы.

• Обеспечить защиту от удаления рабочего пространства или лейкхауса. Неизменяемость предотвращает удаление файлов, но не предотвращает удаление рабочей области или Lakehouse кем-либо, у кого есть соответствующие разрешения. Сохраните список администраторов небольшим, чтобы снизить риск случайного или преднамеренного удаления.

• Выравнивайте срок хранения неизменяемости с политиками организации. Выберите неизменяемый период, который соответствует вашим требованиям аудита, соответствия требованиям, юридическим и расследованиям. Так как неизменяемость не может быть сокращена или отменена после применения, убедитесь, что период хранения отражает ваши истинные обязательства.

Часто задаваемые вопросы (FAQ)

Что произойдет, если целевой лейкхаус удаляется?

Если озеро, выбранное для диагностики, удаляется:

• Все рабочие области, связанные с lakehouse, автоматически деактивируют диагностику.
• Ранее сохраненные диагностические данные не удаляются. Диагностические данные остаются в хранилище удаленного озера, пока сама рабочая область не будет удалена. Чтобы возобновить диагностику, выберите новый lakehouse в том же рабочем пространстве. OneLake повторно включает диагностику, а все ранее захваченные журналы остаются доступными.

Что произойдет, если рабочая область удалена?

• Если рабочая область удаляется, диагностика OneLake для этой рабочей области также удаляется.
• Если рабочая область восстановлена, диагностические данные восстанавливаются.
• После окончательного удаления рабочей области связанные диагностические события также окончательно удаляются.

Что происходит при изменении емкостей?

• При перемещении рабочей области в другую емкость журнал диагностики отключается.
• Чтобы повторно включить диагностику, выберите новый lakehouse в новой вместимости.

Что происходит при включении BCDR для рабочей области?

При включении непрерывности бизнеса и аварийного восстановления (BCDR) данные диагностики OneLake реплицируются во вторичный регион и данные будут доступны через API OneLake, если происходит отказоустойчивость.

Можно ли выполнить аудит диагностики OneLake?

Да. При включении или отключении мониторинга рабочей области или обновлении lakehouse система фиксирует событие ModifyOneLakeDiagnosticSettings в журналах безопасности Microsoft 365. Это событие позволяет выполнять аудит изменений в параметрах диагностики.

Сколько потребления создает диагностика OneLake?

Затраты на использование диагностики OneLake сопоставимы с диагностикой службы хранилища Azure при отправке данных в учетную запись хранения. Дополнительные сведения см. в разделе о потреблении OneLake.

Ограничения

Диагностика OneLake несовместима с защитой исходящего доступа рабочей области (OAP) в разных рабочих областях. Если вы хотите, чтобы диагностика OneLake и OAP работали совместно, необходимо выбрать lakehouse в той же рабочей области.

При настройке диагностики OneLake выбор рабочей области производится с учетом конфигурации частной ссылки, ограничивая выбор рабочими областями в одной частной сети. Однако диагностика OneLake не реагирует на изменения сети автоматически.

События диагностики OneLake

Папка DiagnosticLogs в разделе "Файлы " в lakehouse хранит события диагностики OneLake. JSON-файлы записываются в папку со следующим путем: Files/DiagnosticLogs/OneLake/Workspaces/WorkspaceId/y=YYYY/m=MM/d=DD/h=HH/m=00/PT1H.json

Событие JSON содержит следующие атрибуты:

Личные данные

К событиям диагностики OneLake относятся executingUPN и callerIpAddress. Чтобы отредактировать эти данные, администраторы арендатора могут отключить параметр "Включить идентификаторы конечных пользователей в журналах диагностики OneLake" в портале администрирования Fabric. При отключении эти поля исключаются из новых диагностических событий.

Operations

Глобальные операции

Операции с BLOB

Операции DFS

Операции Fabric