Настройка подключения Azure Databricks

В этой статье описаны действия по созданию подключения Azure Databricks для конвейеров и потока данных 2-го поколения в Microsoft Fabric.

Поддерживаемые типы аутентификации

Соединитель Azure Databricks поддерживает следующие типы проверки подлинности для копирования и потока данных 2-го поколения соответственно.

Настройка подключения для Dataflow Gen2

Вы можете подключить поток данных 2-го поколения к Azure Databricks в Microsoft Fabric с помощью соединителей Power Query. Выполните следующие действия, чтобы создать подключение:

1. Проверьте возможности, ограничения и рекомендации , чтобы убедиться, что ваш сценарий поддерживается.
2. Получение данных в системе Fabric.
3. Подключитесь к данным Databricks.

Возможности

• Импорт
• DirectQuery (семантические модели Power BI)

Получение данных

Чтобы получить данные в фабрике данных, выполните приведенные действия.

1. В левой части Фабрики данных выберите Рабочие области.

2. В рабочей области Data Factory выберите Новый>Dataflow Gen2, чтобы создать новый поток данных.

   

3. В Power Query выберите Получить данные на ленте или выберите Получить данные из другого источника в текущем представлении.

   

4. На странице Выбор источника данных используйте поиска для поиска имени соединителя или выберите просмотреть дополнительные в правой части соединителя, чтобы просмотреть список всех соединителей, доступных в службе Power BI.

   

5. Если вы решили просмотреть дополнительные соединители, вы по-прежнему можете использовать поиск по имени соединителя или выбрать категорию, чтобы просмотреть список соединителей, связанных с этой категорией.

   

Подключитесь к данным Databricks

Чтобы подключиться к Databricks из Power Query Online, сделайте следующее:

1. Выберите параметр Azure Databricks в интерфейсе получения данных. Различные приложения имеют различные способы получения данных в Power Query Online. Дополнительные сведения о том, как получить доступ к возможности получения данных в Power Query Online из вашего приложения, смотрите в разделе Где получить данные.

   Список доступных соединителей Databricks с полем поиска. Используйте соединитель Azure Databricks для всех данных SQL-хранилища Databricks, если ваш представитель Databricks не дал других указаний.

   

2. Введите имя узла сервера и путь HTTP для вашего хранилища SQL Databricks. Обратитесь к разделу Настройка драйверов ODBC и JDBC Databricks за инструкциями по нахождению вашего "имени узла сервера" и "HTTP Path". При необходимости можно указать каталог по умолчанию и (или) базу данных в разделе Дополнительные параметры.

   

3. Предоставьте учетные данные для проверки подлинности в хранилище SQL Databricks. Существует три варианта учетных данных:

   • Имя пользователя и пароль (можно использовать для AWS или GCP). Этот параметр недоступен, если ваша организация или учетная запись использует 2FA/MFA.
   • Ключ учетной записи (можно использовать для AWS, Azure или GCP). См. в персональных маркерах доступа инструкцию по созданию персонального маркера доступа (PAT).
   • Azure Active Directory (доступно только для Azure). Войдите в учетную запись организации с помощью всплывающего окна браузера.

4. После успешного подключения навигатор появляется и отображает данные, доступные на сервере. Выберите данные в навигаторе. Затем выберите Next для преобразования данных в Power Query.

   

Ограничения и рекомендации

• Соединитель Azure Databricks поддерживает веб-прокси. Однако параметры автоматического прокси-сервера, определенные в PAC-файлах, не поддерживаются.
• В соединителе Azure Databricks источник данных Databricks.Query не поддерживается в сочетании с режимом DirectQuery семантической модели Power BI.

Настройка подключения для конвейера

В следующей таблице содержится сводка свойств, необходимых для подключения конвейера:

Чтобы настроить подключение в конвейере, выполните следующие действия.

1. Перейдите на страницу нового подключения для конвейера фабрики данных, чтобы настроить параметры подключения и создать подключение.

   

   Вы можете перейти на эту страницу двумя способами:

   • В помощнике по созданию копий откройте эту страницу после выбора соединителя.
   • В конвейере перейдите на эту страницу после выбора +Создать в разделе подключения и выбора соединителя.

2. В области "Создать подключение" укажите следующие поля:

   • Имя хоста сервера: имя хоста для вашего экземпляра Azure Databricks. Например, example.azuredatabricks.net
   • HTTP-путь : http-путь для данных. Например: /sql/1.0/warehouses/abcdef1234567890
   • Подключение. Выберите "Создать новое подключение".
   • Имя подключения: укажите имя подключения.

3. В разделе "Шлюз данных" выберите существующий шлюз данных, если экземпляр Azure Databricks недоступен для публичного доступа.

4. Для типа проверки подлинности личный маркер доступа — это доступный тип проверки подлинности для действия копирования. Укажите личный маркер доступа в соответствующей конфигурации. Дополнительные сведения см. в разделе "Проверка подлинности личного маркера доступа".

5. При необходимости задайте уровень конфиденциальности, который вы хотите применить. Допустимые значения: Организационная, Конфиденциальная и Публичная. Дополнительные сведения см. в документации Power Query о уровнях конфиденциальности.

6. Щелкните Создать, чтобы создать подключение. Создание успешно протестировано и сохранено, если все учетные данные верны. Если это не правильно, создание завершается ошибкой.

Связанный контент

• Дополнительные сведения об этом соединителе см. в документации по соединителю Azure Databricks.
• Настройка Azure Databricks в операции копирования