Использование федеративных источников данных в Microsoft Sentinel (Preview)

После настройки федеративных соединителей данных вы можете получить доступ к федеративной таблице через несколько интерфейсов в Microsoft Sentinel. Федеративные таблицы используются так же, как и другие таблицы озера данных. В этой статье объясняется, как просматривать федеративные таблицы, запрашивать их с помощью KQL (язык запросов Kusto) и работать с ними в записных книжках Jupyter.

Предварительные условия

Перед началом работы убедитесь, что:

• Ваш арендатор должен быть подключен к озеру данных Sentinel. Дополнительные сведения см. в разделе Подключение к озеру данных Microsoft Sentinel.
• У вас есть соответствующие разрешения на выполнение запросов к данным в озере данных Sentinel. Дополнительные сведения см. в разделе Роли и разрешения на платформе Microsoft Sentinel.

Изучите именование федеративных таблиц

Имена федеративных таблиц соответствуют шаблону <tableName>_<connectorInstanceName>. Например, вы можете:

Если несколько таблиц в экземпляре соединителя имеют одинаковые имена таблиц, к имени экземпляра соединителя добавляется числовый идентификатор, например widgets_ADLS01_1 при вызове ADLS01двух таблиц в экземпляре widgets соединителя .

Используйте имя федеративной таблицы при запросе данных из озера данных Sentinel.

Просмотр федеративных таблиц в управлении таблицами

Представление управления таблицами предоставляет обзор всех таблиц в озере данных Sentinel, включая федеративные таблицы.

1. Перейдите к Microsoft Sentinel>Конфигурация>Таблицы.
2. Выберите фильтр Тип .
3. Выберите Федеративный и нажмите кнопку Применить.

Просмотр сведений о таблице

Выберите строку таблицы, чтобы открыть панель сведений. Панель сведений о таблице содержит три вкладки:

Запрос федеративных таблиц с помощью KQL

Страница запросов KQL в Microsoft Sentinel позволяет запрашивать федеративные таблицы вместе с собственными Sentinel данными. Федеративные таблицы поддерживаются для заданий KQL, интерактивных и асинхронных запросов, а также инструментов MCP.

1. Перейдите в Microsoft Sentinel>Исследование озера данных>KQL-запросы.

2. Нажмите кнопку Выбранная рабочая область на панели сведений.

3. Выберите Системные таблицы в качестве одной из рабочих областей.

4. На вкладке Схема разверните раздел Системные таблицы .

5. Разверните раздел Федеративные таблицы .

6. Найдите тип федерации для источника данных, например Microsoft Fabric, Azure Databricks или Azure Data Lake Storage 2-го поколения.

7. Разверните тип федерации, чтобы просмотреть федеративные таблицы.

8. Разверните таблицу для просмотра ее столбцов.

Написание и выполнение запросов

Запросы к федеративной таблице работают так же, как запросы к собственным таблицам озера с несколькими важными отличиями:

• Возможно изменение схемы таблицы во внешнем источнике. Это может привести к сбою во время запроса, указывающего на отсутствие столбца. Обновите столбцы на странице управления таблицами, выбрав федеративную таблицу, выбрав вкладку Схема и выбрав Обновить схему.

• Федеративные таблицы без столбца TimeGenerated, а также таблицы, в которых присутствует столбец TimeGenerated, но данные в нём имеют неправильный формат, нельзя использовать в обозревателе озера данных для выбора временных диапазонов с помощью элемента выбора времени в пользовательском интерфейсе. Определите фильтры даты в тексте KQL, которые соответствуют формату дат федеративной таблицы.

Создание заданий KQL из федеративных запросов

Задания KQL можно создавать на основе запросов, использующих федеративные таблицы:

1. Напишите и протестируйте запрос KQL с помощью федеративных таблиц.
2. Нажмите кнопку Создать задание в правом верхнем углу панели запросов.
3. Настройте параметры задания, включая расписание и назначение выходных данных.
4. Сохраните задание.

Федеративные таблицы полностью поддерживаются для заданий KQL, асинхронных запросов и инструментов MCP.

Создайте инструмент MCP с запросами к федеративным таблицам

Средства MCP можно создавать на основе запросов, использующих федеративные таблицы:

1. Напишите и протестируйте запрос KQL с помощью федеративных таблиц.

2. Нажмите кнопку Сохранить как инструмент над редактором запросов.

3. При необходимости настройте запрос, например параметризуйте значения.

4. При любом обращении к федеративной таблице убедитесь, что перед именем таблицы указан префикс workspace("default").. Например, если ваша таблица была widgets_ADLS01, то в вашем коде для этой таблицы указано workspace("default").widgets_ADLS01.

5. Сохраните средство.

Использование федеративных таблиц в записных книжках Jupyter

Федеративные таблицы доступны в записных книжках Jupyter через расширение Microsoft Sentinel для VS Code.

В расширении VS Code для Microsoft Sentinel федеративные таблицы отображаются в разделе: Таблицы Lake>Системные таблицы>Федеративные таблицы

Работа с федеративными таблицами в записных книжках Jupyter соответствует тем же шаблонам, что и собственные системные таблицы:

1. Используйте полное имя таблицы: Ссылайтесь на таблицы, используя формат <tableName>_<connectorInstance>.
2. Не указывайте имя рабочей области. Операции чтения не требуют спецификации рабочей области.
3. Доступ только для чтения: федеративные таблицы доступны только для чтения; вы не можете записывать данные обратно в федеративные источники.

Задания ноутбука Jupyter

Вы можете создавать запланированные задачи блокнота Jupyter, которые используют федеративные таблицы, так же, как создаете задачу блокнота для собственных таблиц в озере данных:

1. Разработка записной книжки с помощью запросов к федеративной таблице.
2. Протестируйте записную книжку, чтобы убедиться, что федеративные запросы выполняются правильно.
3. Создайте задание из записной книжки.
4. Настройте расписание задания и параметры.

Лучшие методики

Следуйте этим рекомендациям по оптимизации запросов, стратегии присоединения и обработке ошибок, чтобы получить наилучшую производительность из федеративных таблиц.

Оптимизация запросов

Используйте следующие методики, чтобы повысить производительность федеративных запросов.

• Раннее применение фильтров: по возможности фильтруйте данные в источнике, чтобы сократить передачу данных.
• Ограничивайте наборы результатов: используйте операторы take или limit при разработке.
• Использовать проекции. Выберите только столбцы, необходимые для повышения производительности.

Пример: оптимизированный запрос

Следующий запрос демонстрирует фильтрацию большого федеративного набора данных на раннем этапе, чтобы уменьшить объем данных и выбрать только необходимые столбцы для повышения производительности запросов.

large_dataset_adls_connector
| where EventTime >= ago(1h)           // Filter early
| where EventType == "Login"           // Reduce data volume
| project EventTime, UserId, SourceIP  // Select needed columns
| take 10000                           // Limit results

Стратегии объединения

Используйте следующие практики производительности запросов при объединении федеративных и нативных таблиц.

• Используйте соответствующие типы соединений: выберите inner, leftouterили rightouter в зависимости от ваших потребностей.
• Фильтр перед присоединением. Уменьшите объем данных перед операциями соединения.
• Учитывайте размеры данных: Поместите таблицу меньшего размера в правой части операции соединения.

Обработка ошибок

Рассмотрим следующие методики для диагностики и обработки распространенных проблем федеративных запросов.

• Проверьте состояние подключения: убедитесь, что экземпляры федеративного коннектора подключены, прежде чем выполнять запрос.
• Обрабатывайте значения NULL: внешние данные могут содержать неожиданные значения NULL; используйте функции coalesce() или isnull().
• Мониторинг производительности запросов. Отслеживайте время выполнения федеративных запросов для выявления проблем с производительностью.

Устранение неполадок

Запрос не возвращает результаты

• Убедитесь, что экземпляр соединителя находится в подключенном состоянии.
• Убедитесь, что внешний источник данных доступен, а также таблицы, целевые в запросе.
• Убедитесь, что у субъекта-службы или управляемой идентификации Sentinel не были отозваны разрешения для целевого источника данных.
• Убедитесь, что используется правильный формат имени федеративной таблицы.
• Убедитесь, что «Системные таблицы» доступны в области навигации для выполнения запросов KQL или в сеансе записной книжки.

Запрос выполняется медленно

• Примените фильтры для уменьшения объема данных, запрашиваемого из внешних источников.
• Проверьте производительность и доступность внешнего источника.
• Рассмотрите возможность создания сводных таблиц для часто используемых данных.

Несоответствие схемы

• Просмотрите схему таблицы в представлении управления таблицами.
• Настройте запрос для обработки различий в схемах.
• Проверьте, изменилась ли схема внешней таблицы с момента создания соединителя.

Не удается запустить средства MCP для федеративных таблиц

Убедитесь, что вы добавили в имя таблицы префикс, workspace("default"). указав, где вы ссылаетесь на федеративную таблицу в средстве MCP.

Связанные материалы

• Общие сведения о федерации данных
• Настройка федеративных соединителей данных
• Справочник по запросу KQL