Руководство по настройке зеркальных баз данных Microsoft Fabric из Azure Databricks

Зеркальное отображение базы данных в Microsoft Fabric — это корпоративная облачная технология, ноль ETL, SaaS. Это руководство поможет создать зеркальную базу данных из Azure Databricks, которая создает только для чтения реплицированную копию данных Azure Databricks в OneLake.

Необходимые компоненты

• Необходимо включить внешний доступ к данным в хранилище метаданных. Дополнительные сведения см. в разделе "Включение доступа к внешним данным" в хранилище метаданных.
• Создайте или используйте существующую рабочую область Azure Databricks с включенным каталогом Unity.
• Для схемы в каталоге Unity необходимо иметь EXTERNAL USE SCHEMA привилегии, содержащие таблицы, к которым будет получен доступ из Fabric.
• Для задания элементов управления доступом для каталогов, схем и таблиц в Fabric необходимо использовать модель разрешений Fabric.
• Рабочие области Azure Databricks не могут находиться за частной конечной точкой.

Создание зеркальной базы данных из Azure Databricks

Выполните следующие действия, чтобы создать новую зеркальную базу данных из каталога Azure Databricks Unity.

1. Перейдите к https://powerbi.com.

2. Выберите +Создать , а затем отражайте каталог Azure Databricks.

   

3. Выберите существующее подключение, если настроено одно.

   • Если у вас нет существующего подключения, создайте новое подключение и введите все сведения. Вы можете пройти проверку подлинности в рабочей области Azure Databricks с помощью учетной записи организации или представителя службы. Чтобы создать подключение, необходимо быть пользователем или администратором рабочей области Azure Databricks.
   • Чтобы получить доступ к учетным записям Azure Data Lake Storage (ADLS) 2-го поколения за брандмауэром, необходимо выполнить действия, чтобы включить доступ к сетевой безопасности для учетной записи Azure Data Lake Storage 2-го поколения далее в этой статье.

4. После подключения к рабочей области Azure Databricks на странице каталога "Выбор таблиц" можно выбрать каталог, схемы и таблицы с помощью списка включения и исключения, который вы хотите добавить и получить доступ из Microsoft Fabric. Выберите каталог и связанные схемы и таблицы, которые необходимо добавить в рабочую область Fabric.

   • Вы можете видеть только каталоги, схемы или таблицы, к которым у вас есть доступ согласно привилегиям, предоставляемым им в рамках модели привилегий, описанной в привилегиях каталога Unity и защищаемых объектах.
   • По умолчанию для выбранной схемы включена автоматическая синхронизация изменений в будущем каталоге. Дополнительные сведения см. в каталоге Azure Databricks Unity.
   • После выбора нажмите кнопку "Далее".

5. По умолчанию имя элемента будет именем каталога, который вы пытаетесь добавить в Fabric. На странице "Проверка и создание" можно просмотреть сведения и при необходимости изменить имя элемента зеркальной базы данных, которое должно быть уникальным в рабочей области. Нажмите кнопку создания.

6. Создается элемент каталога Databricks и для каждой таблицы также создается соответствующий ярлык типа Databricks.

   • Схемы, у которых нет таблиц, не отображаются.

7. Вы также можете просмотреть предварительный просмотр данных при доступе к ярлыку, выбрав конечную точку аналитики SQL. Откройте элемент конечной точки аналитики SQL, чтобы запустить страницу обозревателя и редактора запросов. Вы можете запросить зеркальные таблицы Azure Databricks с помощью T-SQL в редакторе SQL.

Создание ярлыков Lakehouse для элемента каталога Databricks

Вы также можете создавать ярлыки из Lakehouse в элемент каталога Databricks для использования данных Lakehouse и использования записных книжек Spark.

1. Во-первых, мы создадим лейкхаус. Если у вас уже есть lakehouse в этой рабочей области, можно использовать существующий lakehouse.
   1. Выберите рабочую область в меню навигации.
   2. Выберите +Создать>Lakehouse.
   3. Укажите имя для озера в поле "Имя " и нажмите кнопку "Создать".
2. В представлении обозревателя озера в меню "Получение данных" в меню lakehouse в разделе "Загрузка данных" в lakehouse нажмите кнопку "Создать ярлык".
3. Выберите Microsoft OneLake. Выберите каталог. Это элемент данных, созданный на предыдущих шагах. Затем выберите Далее.
4. Выберите таблицы в схеме и нажмите кнопку "Далее".
5. Нажмите кнопку создания.
6. Ярлыки теперь доступны в Lakehouse для использования с другими данными Lakehouse. Записные книжки и Spark также можно использовать для обработки данных для этих таблиц каталога, добавленных из рабочей области Azure Databricks.

Создание семантической модели

Дополнительные сведения о семантической модели Power BI по умолчанию.

Помимо семантической модели Power BI по умолчанию, можно обновить семантику Power BI по умолчанию, если вы решили добавить или удалить таблицы из модели или создать новую семантику модели. Чтобы обновить семантику по умолчанию, выполните следующие действия.

1. Перейдите к элементу Azure Databricks зеркального отображения в рабочей области.
2. Выберите конечную точку аналитики SQL из раскрывающегося списка на панели инструментов.
3. В разделе "Отчеты" выберите "Управление семантической моделью по умолчанию".

Управление связями семантической модели

1. Выберите макеты моделейиз обозревателя в рабочей области.
2. После выбора макетов модели вы получите изображение таблиц, включенных в семантику модели.
3. Чтобы создать связи между таблицами, перетащите имя столбца из одной таблицы в другое имя столбца другой таблицы. Всплывающее окно отображается для определения связи и кратности для таблиц.

Включение доступа к сетевой безопасности для учетной записи Azure Data Lake Storage 2-го поколения

В этом разделе описана настройка сетевой безопасности для учетной записи Azure Data Lake Storage (ADLS) 2-го поколения при настройке брандмауэра службы хранилища Azure . 

Необходимые компоненты

• Создайте или используйте существующую рабочую область Azure Databricks с включенным каталогом Unity.
• Чтобы включить идентификацию рабочей области (рекомендуется), рабочая область Fabric должна быть связана с производительностью F. Сведения о создании удостоверения рабочей области см. в статье "Проверка подлинности с помощью удостоверения рабочей области".
• Этот раздел используется для доступа к учетной записи хранения Azure Data Lake Storage (ADLS) 2-го поколения за брандмауэром Azure Storage. Хранилище рабочей области Azure Databricks за брандмауэром Azure Storage не поддерживается.
• Каталог должен быть связан с одной учетной записью хранения.

Включение доступа к сетевой безопасности

1. При создании нового каталога Azure Databricks в разделе "Выбор данных " перейдите на вкладку "Безопасность сети ".

   

2. Выберите существующее подключение к учетной записи хранения, если настроено одно из них. 

   • Если у вас нет существующего подключения ADLS, создайте новое подключение.  
   • URL-адрес конечной точки хранилища — место хранения данных выбранного каталога. Конечная точка должна быть определенной папкой, в которой хранятся данные, а не указывать конечную точку на уровне учетной записи хранения. Например, укажите https://<storage account>.dfs.core.windows.net/container1/folder1 , а не https://<storage account>.dfs.core.windows.net/.
   • Укажите учетные данные подключения. Поддерживаемые типы проверки подлинности: учетная запись организации, сервисный принципал и идентификация рабочей области (рекомендуется).

3. На портале Azure предоставьте права доступа к учетной записи хранения на основе типа проверки подлинности, выбранного на предыдущем шаге. Перейдите к учетной записи хранения на портале Azure. Выберите Управление доступом (IAM). Выберите +Добавить и Добавить назначение ролей. Дополнительные сведения см. в разделе Назначение ролей Azure с помощью портала Azure.

   • Если вы указали учетную запись хранения в рамках подключения, выбранный объект проверки подлинности должен иметь роль читателя данных BLOB-объектов хранилища в учетной записи хранения. 
   • Если вы указали определенный контейнер в рамках подключения, выбранный объект проверки подлинности должен иметь роль читателя данных BLOB-объектов хранилища в контейнере.  
   • Если вы указали определенную папку в контейнере (рекомендуется), выбранный объект проверки подлинности должен иметь объект read (R) и Execute (E) на уровне папки. Если вы используете служебный принципал или удостоверение рабочей области в качестве типа проверки подлинности, необходимо предоставить этим служебным принципалу или удостоверению разрешения на выполнение для корневой папки контейнера, а также для каждой папки в иерархии папок, ведущих к указанной вами папке. 

   Дополнительные сведения и инструкции по предоставлению доступа ADLS см. в разделе "Управление доступом ADLS".

4. Включение доступа к доверенной рабочей области для доступа к учетным записям Azure Data Lake Storage (ADLS) 2-го поколения с поддержкой брандмауэра.

5. Ярлык для таблиц каталога Unity создается для таблиц, имя учетной записи хранения которых соответствует учетной записи хранения, указанной в подключении ADLS. Для таблиц, имя учетной записи хранения которых не соответствует учетной записи хранения, указанной в подключении ADLS, ярлыки для этих таблиц не будут созданы. 

Связанный контент

• Зеркальные базы данных Secure Fabric из Azure Databricks
• Ограничения в зеркальных базах данных Microsoft Fabric из Azure Databricks
• Часто задаваемые вопросы о зеркальных базах данных из Azure Databricks в Microsoft Fabric
• Зеркальное отображение каталога Azure Databricks Unity
• Управление внешним доступом к данным в каталоге Unity