Обзор федерации данных в озере данных Microsoft Sentinel (предварительная версия)

Федерация данных в Microsoft Sentinel позволяет легко запрашивать несколько внешних источников данных из среды озера данных Microsoft Sentinel. Объединяя такие источники данных, как Azure Databricks, Azure Data Lake Storage (ADLS) 2-го поколения и Microsoft Fabric, организации могут улучшить аналитику безопасности и операционную аналитику без перемещения или дублирования данных.

Что такое федерация данных?

Федерация данных позволяет напрямую запрашивать внешние источники данных из озера данных Microsoft Sentinel с помощью языка запросов Kusto (KQL) или ноутбуков Jupyter с использованием расширения Microsoft Sentinel для Visual Studio Code. Вместо приема данных в Sentinel федерация создает подключения к внешним хранилищам данных, что позволяет:

• Единая аналитика: Выполняйте запросы к федеративным источникам наряду с собственными таблицами озера данных Microsoft Sentinel.
• Сохранение управления и контроля соответствия требованиям. Обеспечение безопасности данных и соответствия требованиям путем запроса данных на месте без их перемещения.
• Расширенные аналитические сведения. Объедините данные безопасности с бизнес-данными, журналами или другими наборами данных, хранящимися во внешних системах.
• Гибкий доступ к данным. Доступ к историческим или специализированным наборам данных, которые дополняют операции безопасности.

Доступные источники федерации

Доступны следующие источники федерации:

Ключевые понятия

Федеративные подключения

Федеративное подключение — это настроенная связь между озером данных Sentinel и внешним источником данных. Каждое подключение определяет:

• Целевой источник данных (Databricks, ADLS Gen 2 или Fabric).
• Учетные данные для аутентификации, безопасно хранящиеся в Azure Key Vault для ADLS и Azure Databricks.
• Конкретные таблицы для федерации.

Федеративные таблицы

Федеративные таблицы — это таблицы, поступающие из федеративного соединения. Федеративные таблицы отображаются на странице Sentinel data lake Table Management и могут запрашиваться как собственные таблицы. Имена федеративных таблиц соответствуют шаблону <tableName>_<connectorInstanceName>. Например, если экземпляр соединителя имеет имя ADLS01 и вы объединяете в федерацию таблицу с именем widgets, имя федеративной таблицы — widgets_ADLS01.

Экземпляры коннектора

Каждое настроенное подключение к внешнему источнику данных называется экземпляром соединителя. Можно создать несколько экземпляров источника федерации одного и того же типа, при этом каждый подключается к разным внешним ресурсам.

Предварительные условия

Перед настройкой федерации данных убедитесь, что вы соответствуете следующим требованиям:

• Подключение к озеру данных Sentinel: ваш арендатор должен быть подключён к озеру данных Sentinel. Дополнительные сведения см. в разделе Подключение к Microsoft Sentinel озера данных.
• Общедоступная доступность. Внешний источник должен быть общедоступным. Частные конечные точки в настоящее время не поддерживаются.
• Формат данных: внешние исходные таблицы должны быть в формате Delta Parquet.
• Субъект-служба: для источников Azure Databricks и Azure Data Lake Storage 2-го поколения требуется субъект-служба с соответствующими разрешениями в источнике данных, к которому вы хотите подключиться.
• Azure Key Vault: Хранилище Azure Key Vault для хранения секретов аутентификации субъекта-службы. Необходимо настроить разрешения для управляемого удостоверения Microsoft Sentinel на чтение секретов из хранилища ключей.

Принцип работы федерации

1. Настройка аутентификации: Создайте субъект-службу и сохраните его учетные данные в Azure Key Vault.
2. Создание федеративного подключения. Используйте страницу Соединители данных в Microsoft Sentinel, чтобы создать экземпляр соединителя для выбранного источника федерации данных.
3. Выберите таблицы: Выберите, какие таблицы из внешнего источника использовать для федеративного доступа.
4. Запрос федеративных данных: Используйте возможности озера данных, такие как запросы KQL, блокноты или инструменты MCP, для доступа к федеративным таблицам наряду с собственными данными Sentinel.

Распространенные сценарии федерации данных

Федерация данных позволяет получить доступ к данным, которые находятся за пределами озера данных. Это особенно важно в следующих сценариях:

• Источники данных, которые используются в нескольких командах и системах.

• Исторические данные за многие годы, которые вы хотите естественным образом выводить из хранения и которые экономически нецелесообразно загружать в систему.

• Региональные правила или нормативные акты, ограничивающие копирование данных.

• Данные, к которым не часто обращаются и которые являются контекстно релевантными только в ограниченных сценариях.

Преимущества федерации данных

Единая аналитика безопасности

Объединение данных событий безопасности в Sentinel с контекстом из внешних источников, таких как:

• Выходные данные аналитики из Databricks
• Архивные журналы, хранящиеся в ADLS Gen 2
• Данные бизнес-приложения из Microsoft Fabric

Операционная гибкость

• Доступ к данным через границы организации
• Интеграция данных из разных команд или подразделений
• Поддержка сложных исследований, охватывающих несколько источников данных

Ограничения

• Источники данных должны быть общедоступными. Частные конечные точки не поддерживаются.
• Для Azure Key Vault необходимо установить сетевой параметр Разрешить общий доступ из всех сетей (это значение используется в Key Vault по умолчанию) при настройке экземпляров подключения к ADLS или Azure Databricks. После завершения создания или редактирования подключения для связанного хранилища Key Vault может быть настроен другой сетевой параметр.
• Федеративные подключения к Microsoft Fabric поддерживают lakehouse с поддержкой схем, в которых для рабочих областей не включена защита исходящего доступа.
• Федеративные подключения к Azure Databricks поддерживают гибридную рабочую область; бессерверные рабочие области не поддерживаются.
• Федерация данных доступна только для чтения; вы не можете записывать данные обратно в федеративные источники.
• Производительность запросов зависит от скорости реагирования и объема данных внешнего источника.
• Федеративные подключения к источнику Fabric могут включать не более 100 таблиц в рамках одного экземпляра подключения.
• У вас может быть не более 100 экземпляров соединителя. Azure Databricks и ADLS используют по одному экземпляру соединителя для каждого федеративного подключения. Microsoft Fabric использует один экземпляр соединителя для каждой схемы lakehouse в федеративном соединении.

Дальнейшие действия

• Настройка федеративных соединителей данных
• Использование федеративных источников данных в Microsoft Sentinel
• Запрос федеративных таблиц с помощью KQL