Настройка хранилища потоков данных для использования Azure Data Lake 2-го поколения

Данные, используемые с Power BI, хранятся во внутреннем хранилище, предоставляемом Power BI по умолчанию. Интеграция потоков данных и Azure Data Lake Storage 2-го поколения (ADLS 2-го поколения) позволяет хранить потоки данных в учетной записи Azure Data Lake Storage 2-го поколения вашей организации. Эта функция по сути позволяет "перенести собственное хранилище" в потоки данных Power BI и установить подключение на уровне клиента или рабочей области.

Причины использования рабочей области ADLS 2-го поколения или подключения клиента

После того как вы подсоедините поток данных, Power BI настраивает и сохраняет ссылку, чтобы вы теперь могли считывать и записывать данные в собственное хранилище Azure Data Lake Storage второго поколения. Power BI хранит данные в формате общей модели данных (CDM), которая записывает метаданные о данных в дополнение к фактическим данным, созданным самим потоком данных. Эта функция разблокирует множество мощных возможностей и позволяет данным и связанным метаданным в формате CDM теперь обслуживать расширяемость, автоматизацию, мониторинг и сценарии резервного копирования. Когда вы делаете эти данные доступными и широко доступными в вашей среде, она позволяет демократизировать аналитические сведения и данные, созданные в вашей организации. Он также разблокирует возможность создания дополнительных решений с широким спектром сложности. Your solutions can be CDM aware custom applications and solutions in Power Platform, Azure, and those available through partner and independent software vendor (ISV) ecosystems. Вы также можете создать приложение для чтения CSV-файла. Инженеры данных, учёные данных и аналитики теперь могут работать, использовать и заново применять общий набор данных, который курируется в ADLS второго поколения.

Существует два способа настройки хранилища ADLS 2-го поколения: можно использовать назначенную клиентом учетную запись ADLS 2-го поколения или использовать собственное хранилище ADLS 2-го поколения на уровне рабочей области.

Необходимые условия

• To bring your own ADLS Gen 2 account, you must have Owner permission at the storage account layer. Разрешения на уровне группы ресурсов или подписки не будут работать. If you're an administrator, you still must assign yourself the Owner permission. В настоящее время не поддерживаются учетные записи хранения ADLS 2-го поколения, находящиеся забрандмауэром.

• The storage account must be created with the Hierarchical Namespace (HNS) enabled.

• The storage account must be created in the same Microsoft Entra tenant as the Power BI tenant.

• The user must have Storage Blob Data Owner role, Storage Blob Data Reader role, and an Owner role at the storage account level (scope should be this resource and not inherited). Любые примененные изменения ролей могут занять несколько минут для синхронизации и должны синхронизироваться перед выполнением следующих действий в службе Power BI.

• For Pro workspaces the storage account should be in the same region as the Fabric home region. For premium workspaces the storage account should be in the same region as the premium capacity.

• Для защиты ваших конечных точек требуется версия TLS (Транспортный уровень безопасности) 1.2 или более поздняя. Веб-браузеры и другие клиентские приложения, использующие версии TLS до TLS 1.2, не смогут подключаться.

• Attaching a dataflow with ADLS Gen 2 behind multifactor authentication (MFA) isn't supported.

• Finally, you can connect to any ADLS Gen 2 from the Admin portal, but if you connect directly to a workspace, you must first ensure there are no dataflows in the workspace before connecting.

В следующей таблице описаны разрешения для ADLS и Power BI, необходимые для ADLS 2-го поколения и Power BI:

Подключение к Azure Data Lake 2-го поколения на уровне рабочей области

Перейдите в рабочую область, в которой нет потоков данных. Select Workspace settings. Choose the Azure Connections tab and then select the Storage section.

Параметр Использовать подключение Azure по умолчанию отображается, если администратор уже настроил учетную запись ADLS 2-го поколения, назначенную для клиента. У вас есть два варианта:

• Use the tenant configured ADLS Gen 2 account by selecting the box called Use the default Azure connection, or
• Select Connect to Azure to point to a new Azure Storage account.

При выборе Connect к AzurePower BI извлекает список подписок Azure, к которым у вас есть доступ. Fill in the dropdowns. Затем выберите действительную подписку Azure, группу ресурсов и учетную запись хранения с включенным параметром иерархического пространства имен, который является флагом ADLS 2-го поколения. Личная учетная запись, используемая для подключения к Azure, используется только один раз, чтобы задать начальное подключение и предоставить учетным записям службы Power BI права на чтение и запись данных, после чего исходная учетная запись пользователя больше не требуется для активного подключения.

After you choose your selected, select Save and you now have successfully connected the workspace to your own ADLS Gen2 account. Power BI автоматически настраивает учетную запись хранения с необходимыми разрешениями и настраивает файловую систему Power BI, где будут записываться данные. На этом этапе данные каждого потока данных в этой рабочей области записываются непосредственно в эту файловую систему, которую можно использовать с другими службами Azure. Теперь у вас есть один источник для всех данных организации или отдела.

Конфигурация подключений Azure

Настройка подключений Azure — это необязательный параметр с дополнительными свойствами, которые можно задать при необходимости:

• Tenant Level storage, which lets you set a default, and/or
• Хранилище уровня рабочей области, позволяющее указать подключение для каждой рабочей области.

При необходимости можно настроить хранилище на уровне клиента, если вы хотите использовать только централизованное озеро данных или использовать это хранилище по умолчанию. Мы не используем параметры по умолчанию автоматически, чтобы обеспечить гибкость в вашей конфигурации, поэтому вы можете настраивать рабочие области, использующие это соединение, так, как вам нужно. Если настроить учетную запись ADLS 2-го поколения, назначаемую клиентом, необходимо настроить каждую рабочую область для использования этого параметра по умолчанию.

При необходимости или в дополнение, можно настроить разрешения хранилища на уровне рабочей области в качестве отдельного варианта, что обеспечивает полную гибкость настройки конкретной учетной записи ADLS поколения 2 в каждой отдельной рабочей области.

Вкратце, если разрешены права доступа к хранилищу на уровне арендатора и на уровне рабочей области, администраторы рабочей области могут при необходимости использовать подключение ADLS по умолчанию или настроить другую учетную запись для хранения отдельно от подключения по умолчанию. Если хранилище клиента не задано, администраторы рабочей области могут при необходимости настроить учетные записи ADLS для каждой отдельной рабочей области. Наконец, если выбрано хранилище на уровне клиента и хранилище уровня рабочей области не разрешено, администраторы рабочей области могут дополнительно настроить потоки данных для использования этого подключения.

Структура и формат подключений к рабочей области ADLS 2-го поколения

In the ADLS Gen 2 storage account, all dataflows are stored in the powerbi container of the filesystem.

Структура контейнера powerbi выглядит следующим образом: <workspace name>/<dataflow name>/model.json, <workspace name>/<dataflow name>/model.json.snapshots/<all snapshots> и <workspace name>/<dataflow name>/<table name>/<tablesnapshots>

The location where dataflows store data in the folder hierarchy for ADLS Gen 2 is the same whether the workspace is located in shared capacity or Premium capacity.

The following example uses the Orders table of the Northwind Odata sample.

На предыдущем рисунке:

• model.json является последней версией потока данных.
• The model.json.snapshots are all previous versions of the dataflow. This history is useful if you need a previous version of mashup, or incremental settings.
• Имя таблицы — это папка, содержащая полученные данные после завершения обновления потока данных.

We only write to this storage account and don't currently delete data. Поэтому даже после отсоединения мы не удаляем из учетной записи ADLS, поэтому все файлы, упомянутые в предыдущем списке, по-прежнему хранятся.

Перемещение файлов между учетными записями хранения ADLS 2-го поколения

При перемещении потока данных из одной учетной записи хранения ADLS 2-го поколения в другую необходимо убедиться, что пути в файле model.json обновляются, чтобы отразить новое расположение. Это связано с тем, что файл model.json содержит путь к потоку данных и путь к данным. Если вы не обновите пути, поток данных не сможет найти данные, что приведет к ошибкам доступа. Чтобы обновить пути, выполните следующие действия.

• Откройте файл model.json в текстовом редакторе.
• Найдите URL-адрес учетной записи хранения и замените его новым URL-адресом учетной записи хранения.
• Сохраните файл.
• Перезаписать существующий файл model.json в учетной записи хранения ADLS 2-го поколения.

Extensibility for ADLS Gen 2 workspace connections

Если вы подключаете ADLS 2-го поколения к Power BI, вы можете выполнить это действие на уровне рабочей области или клиента. Убедитесь, что у вас есть правильный уровень доступа. Learn more in Prerequisites.

Структура хранилища соответствует формату common Data Model. Дополнительные сведения о структуре хранилища и CDM см. в статье Что такое структура хранилища для аналитических потоков данных и использовать общую модель данных для оптимизации Azure Data Lake Storage 2-го поколения.

После правильной настройки данные и метаданные находятся под вашим контролем. Многие приложения знают о CDM и данные можно расширить с помощью Azure, PowerApps и Power Automate. Вы также можете использовать сторонние экосистемы, соответствующие формату или считывая необработанные данные.

Отключение Azure Data Lake 2-го поколения от рабочей области или клиента

Чтобы удалить подключение на уровне рабочей области, сначала необходимо убедиться, что все потоки данных в рабочей области удаляются. After all the dataflows have been removed, select Disconnect in the workspace settings. The same applies for a tenant, but you must first ensure all workspaces have also been disconnected from the tenant storage account before you're able to disconnect at a tenant level.

Отключение Azure Data Lake 2-го поколения

In the Admin portal, under dataflows, you can disable access for users to either use this feature, and can disallow workspace admins to bring their own Azure Storage.

Возврат из Azure Data Lake 2-го поколения

После настройки хранилища потоков данных для использования Azure Data Lake 2-го поколения нет способа автоматического восстановления. Процесс возврата в хранилище, управляемое Power BI, является ручным.

Чтобы вернуть миграцию, выполненную в 2-е поколение, необходимо удалить потоки данных и повторно создать их в той же рабочей области. Затем, так как мы не удаляем данные из ADLS 2-го поколения, перейдите к самому ресурсу и очистите данные. Это действие будет включать следующие шаги.

1. Экспортируйте копию потока данных из Power BI. Или скопируйте файл model.json. Файл model.json хранится в ADLS.

2. Удалите потоки данных.

3. Отсоедините ADLS.

4. Повторно создайте потоки данных с помощью импорта. Перед импортом необходимо удалить добавочные данные обновления (если применимо). Это действие можно сделать, удалив соответствующие разделы в файле model.json.

5. Configure refresh/recreate incremental refresh policies.

Подключение к данным с помощью соединителя ADLS 2-го поколения

Область этого документа описывает подключения к потокам данных ADLS 2-го поколения, а не соединителю Power BI ADLS 2-го поколения. Работа с соединителем ADLS 2-го поколения является отдельным, возможно, аддитивным сценарием. Соединитель ADLS просто использует ADLS в качестве источника данных. Таким образом, использование Power Query Online для запроса к этим данным не должно быть в формате CDM, это может быть любой формат данных, который клиент хочет. For more information, see Azure Data Lake Storage Gen2.

Связанное содержимое

Дополнительные сведения о потоках данных и Power BI см. в следующих статьях.

• Общие сведения о потоках данных и самостоятельной подготовке данных
• создание потока данных
• Настройка и использование потока данных
• функции потоков данных класса Premium
• ИИ с потоками данных
• Dataflows considerations and limitations
• Dataflows best practices