Подключение к Azure Data Explorer с помощью Apache Spark для Azure Synapse Analytics

В этой статье описывается, как получить доступ к базе данных Azure Data Explorer из Synapse Studio с помощью Apache Spark для Azure Synapse Analytics.

Предпосылки

• Создайте кластер и базу данных Azure Data Explorer.
• У вас есть рабочая область Azure Synapse Analytics или создайте новую рабочую область, выполнив действия, описанные в кратком руководстве. Создание рабочей области Azure Synapse.
• Имеется ли у вас существующий пул Apache Spark, или создайте новый пул, следуя шагам, описанным в Кратком руководстве: Создание пула Apache Spark с помощью портала Azure.
• Создайте приложение Microsoft Entra, подготовив приложение Microsoft Entra.
• Предоставьте приложению Microsoft Entra доступ к базе данных, выполнив действия по управлению разрешениями базы данных Azure Data Explorer.

Перейдите в Synapse Studio

В рабочей области Azure Synapse выберите "Запустить Synapse Studio". На домашней странице Synapse Studio выберите "Данные ", чтобы перейти в обозреватель объектов данных.

Подключение базы данных Azure Data Explorer к рабочей области Azure Synapse

Подключение базы данных Azure Data Explorer к рабочей области осуществляется через связанную службу. Связанная служба Azure Data Explorer позволяет просматривать и исследовать данные, а также с помощью Apache Spark для Azure Synapse, вы можете читать и записывать данные. Также можно запускать задания интеграции в конвейере.

В обозревателе объектов данных выполните следующие действия, чтобы напрямую подключить кластер Azure Data Explorer:

1. Выберите значок + рядом с областью Данные.

2. Выберите "Подключиться ", чтобы подключиться к внешним данным.

3. Выберите Azure Data Explorer (Kusto).

4. Выберите Продолжить.

5. Чтобы присвоить имя связанной службе, используйте понятное имя. Имя появится в обозревателе объектов данных и используется средами выполнения Azure Synapse для подключения к базе данных.

6. Выберите кластер Azure Data Explorer из подписки или введите универсальный код ресурса (URI).

7. Введите идентификатор субъекта-службы и ключ субъекта-службы. Убедитесь, что этот принципал службы имеет доступ на просмотр к базе данных для операций чтения и доступ на ввод данных для приёма данных.

8. Введите имя базы данных Azure Data Explorer.

9. Выберите "Проверить подключение" , чтобы убедиться, что у вас есть правильные разрешения.

10. Выберите Создать.

    

    Примечание.

    (Необязательно) Проверка подключения не подтверждает права на запись. Убедитесь, что идентификатор учётной записи службы имеет доступ на запись в базу данных Azure Data Explorer.

11. Кластеры и базы данных Azure Data Explorer отображаются на вкладке "Связанная " в разделе Azure Data Explorer .

    

12. Прежде чем взаимодействовать с связанной службой из записной книжки, ее необходимо опубликовать в рабочей области. Нажмите кнопку "Опубликовать " на панели инструментов, просмотрите ожидающие изменения и нажмите кнопку "ОК".

    Примечание.

    В текущем выпуске объекты базы данных заполняются на основе разрешений учетной записи Microsoft Entra в базах данных Azure Data Explorer. При запуске записных книжек Apache Spark или заданий интеграции будут использоваться учетные данные в службе связей (например, учетная запись службы).

Быстрое взаимодействие с созданными кодом действиями

При щелчке правой кнопкой мыши базы данных или таблицы появится список примеров записных книжек Spark. Выберите параметр для чтения, записи или потоковой передачи данных в Azure Data Explorer.

Ниже приведен пример чтения данных. Подключите записную книжку к пулу Spark и запустите ячейку.

Ограничения

Соединитель Azure Data Explorer в настоящее время не поддерживается с управляемыми виртуальными сетями Azure Synapse.

Дальнейшие действия

• Пример кода с расширенными параметрами
• Соединитель Spark для Azure Data Explorer (Kusto)