Azure Databricks

Сводка

Предварительные требования к сети

Для частных сетей необходимо реализовать следующие параметры сети:

• *.blob.core.windows.net* и *.store.core.windows.net должны быть открыты в сетевой среде.
• Этот список скачиваемых сертификатов и отзыва также необходимо добавить в список разрешений.
• Если поддержка брандмауэра включена в учетной записи хранения рабочей области Databricks, необходимо настроить шлюз данных виртуальной сети или локальный шлюз данных, чтобы разрешить частный доступ к учетной записи хранения. Это гарантирует, что служба Power BI Fabric может продолжать получать доступ к учетной записи хранилища рабочей области и что CloudFetch функционирует правильно. Кроме того, можно отключить CloudFetch с конфигурацией EnableQueryResultDownload=0.

Поддерживаемые возможности

• Импорт
• DirectQuery (семантические модели Power BI)

Подключение к Databricks (AWS, Azure или GCP) из Power Query Desktop

Чтобы подключиться к Databricks из Power Query Desktop, сделайте следующее:

1. В интерфейсе получения данных выполните поиск по запросу Databricks, чтобы отфильтровать соединитель Azure Databricks. Используйте соединитель Azure Databricks для всех данных SQL-хранилища Databricks, если ваш представитель Databricks не дал других указаний.

   

2. Укажите имя узла сервера и путь HTTP для хранилища SQL Databricks. Обратитесь к разделу Настройка драйверов ODBC и JDBC Databricks за инструкциями по нахождению вашего "имени узла сервера" и "HTTP Path". Введите эти сведения соответствующим образом. При необходимости можно указать каталог по умолчанию и (или) базу данных в разделе Дополнительные параметры. Для продолжения выберите ОК.

   

3. Предоставьте учетные данные для проверки подлинности в хранилище SQL Databricks. Существует три варианта учетных данных:

   • Учетные данные клиента Databricks. Для получения инструкций по созданию учетных данных клиента Databricks OAuth M2M, обратитесь к разделу "Databricks OAuth M2M".

   • Личный маркер доступа (можно использовать для AWS, Azure или GCP). См. в персональных маркерах доступа инструкцию по созданию персонального маркера доступа (PAT).

   • Azure Active Directory (можно использовать только для Azure). Войдите в учетную запись организации с помощью всплывающего окна браузера.

     

   Замечание

   После ввода учетных данных для определенного хранилища SQL Databricks Power BI кэширует и повторно использует те же учетные данные при последующих попытках подключения. Эти учетные данные можно изменить, перейдя в параметры файла > и параметры >источника данных. Дополнительные сведения. Изменение метода проверки подлинности

4. После успешного подключения, навигатор показывает данные, доступные вам в кластере. Вы можете выбрать Transform Data для преобразования данных с помощью Power Query или Load для загрузки данных в Power Query Desktop.

   

Подключение к данным Databricks из Power Query Online

Чтобы подключиться к Databricks из Power Query Online, сделайте следующее:

1. Выберите параметр Azure Databricks в интерфейсе получения данных. Различные приложения имеют различные способы получения данных в Power Query Online. Дополнительные сведения о том, как получить доступ к возможности получения данных в Power Query Online из вашего приложения, смотрите в разделе Где получить данные.

   Список доступных соединителей Databricks с полем поиска. Используйте соединитель Azure Databricks для всех данных SQL-хранилища Databricks, если ваш представитель Databricks не дал других указаний.

   

2. Введите имя узла сервера и путь HTTP для вашего хранилища SQL Databricks. Обратитесь к разделу Настройка драйверов ODBC и JDBC Databricks за инструкциями по нахождению вашего "имени узла сервера" и "HTTP Path". При необходимости можно указать каталог по умолчанию и (или) базу данных в разделе Дополнительные параметры.

   

3. Предоставьте учетные данные для проверки подлинности в хранилище SQL Databricks. Существует три варианта учетных данных:

   • Имя пользователя и пароль (можно использовать для AWS или GCP). Этот параметр недоступен, если ваша организация или учетная запись использует 2FA/MFA.
   • Ключ учетной записи (можно использовать для AWS, Azure или GCP). См. в персональных маркерах доступа инструкцию по созданию персонального маркера доступа (PAT).
   • Azure Active Directory (можно использовать только для Azure). Войдите в учетную запись организации с помощью всплывающего окна браузера.

4. После успешного подключения навигатор появляется и отображает данные, доступные на сервере. Выберите данные в навигаторе. Затем выберите Next для преобразования данных в Power Query.

   

Реализация соединителя драйвера подключения к базе данных Arrow (предварительная версия)

Вы можете использовать драйвер Arrow Database Connectivity (ADBC) для соединителя Azure Databricks в Power BI. Так как мы продолжаем улучшать и добавлять новые возможности в этот соединитель, рекомендуется обновить до последней версии, чтобы попробовать ее и отправить отзыв о продукте.

Чтобы переключиться на драйвер ADBC, выполните следующие действия.

1. Откройте нужную панель мониторинга в Power BI.
2. Выберите Преобразование данных.
3. Выберите Advanced Editor в разделе параметра Query.
4. Укажите Implementation="2.0" для ADBC.

   let
       Source = Databricks.Catalogs("adb-<workspace-id>.<random-number>.azuredatabricks.net", "/sql/1.0/warehouses/<sql-warehouse-id>",
           [Catalog=null, Database=null, EnableAutomaticProxyDiscovery=null, Implementation="2.0"]),
       powerbi_Database = Source{[Name="powerbi",Kind="Database"]}[Data],
       default_Schema = powerbi_Database{[Name="default",Kind="Schema"]}[Data],
       dashboard_data_Table = default_Schema{[Name="dashboard_data",Kind="Table"]}[Data]
   in
       dashboard_data_Table
   

Ограничения и рекомендации

• Соединитель Azure Databricks поддерживает веб-прокси. Однако параметры автоматического прокси-сервера, определенные в PAC-файлах, не поддерживаются.
• В соединителе Azure Databricks источник данных Databricks.Query не поддерживается в сочетании с семантической моделью Power BI в режиме DirectQuery.