Создание Azure Synapse Link для Dataverse с помощью Azure Data Lake

Вы можете использовать Azure Synapse Link, чтобы подключить свои данные Microsoft Dataverse к Azure Data Lake Storage 2-го поколения для различных сценариев аналитики. В этой статье показано, как выполнить следующие задачи:

1. Подключите свои данные Dataverse к вашей учетной записи Azure Data Lake Storage 2-го поколения с помощью службы Azure Synapse Link.
2. Управление таблицами Dataverse, включенными в Synapse Link Azure.
3. Отслеживайте Azure Synapse Link.
4. Отключите Azure Synapse Link.
5. Свяжите снова вашу Azure Synapse Link.
6. Просматривайте свои данные в Azure Data Lake и поймите файловую структуру.

Предпосылки

• Azure Data Lake Storage 2-го поколения: У вас должна быть учетная запись Azure Data Lake Storage 2-го поколения, и доступ к ролям Owner и Storage Blob Data Contributor. В вашей учетной записи хранения должно быть включено Иерархическое пространство имен как для первоначальной настройки, так и для дельта-синхронизации. Разрешить доступ к ключу учетной записи хранения требуется только для первоначальной настройки. Учетная запись хранения должна иметь разрешенную область для операций копирования, для которых задано значение Из любой учетной записи хранения.

Подключение Dataverse к Azure Data Lake Storage 2-го поколения

1. Войдите в Power Apps и выберите предпочитаемую среду.

2. На левой панели навигации выберите Связанные данные, а затем — Другие ссылки. Существующие Azure Synapse ссылки отображаются в этом разделе. Если данные ссылки не отображаются на боковой панели, выберите ... Дополнительные сведения и нажмите кнопку "Обнаружить все". Связанные данные находятся в разделе Управление данными.

3. Выберите Создать связь с озером данных на панели команд.

4. Выберите Подписка, Группа ресурсов и Учетная запись хранения. Убедитесь, что учетная запись хранения соответствует требованиям, указанным в разделе Предварительные условия. Нажмите кнопку Далее.

   Замечание

   В рамках связывания среды с озером данных вы предоставляете службе Azure Synapse Link доступ к учетной записи хранения. Убедитесь, что вы выполнили предварительные условия создания и настройки учетной записи хранения Azure Data Lake, а также предоставления себе роли владельца для этой учетной записи хранения. Кроме того, вы предоставляете службе потоков данных Power Platform доступ к вашей учетной записи хранения. Дополнительные сведения: Самостоятельная подготовка данных с потоками данных.

5. Выберите таблицы, которые требуется экспортировать, выбрав их по одной или введя список таблиц, разделенных запятыми, в поле поиска, затем выберите Сохранить. Только таблицы с включенным свойством Отслеживать изменения можно экспортировать. Больше информации: Дополнительные параметры для таблиц.

   

Вы можете выполнить описанные в этой статье шаги, чтобы создать ссылку из одной среды в несколько озер Azure Data Lake в вашей подписке Azure. Аналогично вы можете создать связь из нескольких сред с одним и тем же озером данных Azure Data Lake — все в одном клиенте.

Управление данными таблицы в Data Lake

После настройки Synapse Link Azure вы можете управлять таблицами, экспортируемыми одним из двух способов:

• В области Power Apps (make.powerapps.com) Связывание данных>с другими ссылками и выберите пункт "Управление таблицами" на панели команд, чтобы добавить или удалить одну или несколько связанных таблиц.

• На портале Power Apps maker Tables выберите ... рядом с таблицей и выберите связанное озеро данных, в котором требуется экспортировать данные таблицы.

  

Мониторинг Azure Synapse Link

После настройки Azure Synapse Link вы можете контролировать Azure Synapse Link на вкладке Таблицы.

• Будет список таблиц, которые являются частью выбранной Azure Synapse Link.
• Статус синхронизации проходит на разных этапах. NotStarted указывает, что таблица ожидает синхронизации. После того, как начальная синхронизация таблицы Завершена, начинается этап последующей обработки, на котором добавочные обновления не выполняются. В зависимости от размера ваших данных это может занять несколько часов. По мере начала добавочных обновлений дата последней синхронизации будет регулярно обновляться.
• Столбец Подсчет показывает количество записанных строк. Когда для Только добавление задано Нет, это общее количество записей. Когда для Только добавление задано Да, это общее количество изменений.
• В столбцах Только добавление и Стратегия секционирования показано использование различных дополнительных конфигураций.

Отмена связи с Azure Synapse Link

1. Выберите Azure Synapse Link, чтобы отменить связь.

2. Выберите Отменить связь озера данных на панели команд.

3. Чтобы удалить как файловую систему озера данных, выберите Удалить файловую систему озера данных.

4. Выберите Да и подождите несколько минут, чтобы все было отключено и удалено.

Повторное установление связи с Azure Synapse Link

Если вы удалили файловую систему при отмене связи, выполните описанные выше действия, чтобы повторно связать то же озеро данных. Если вы не удалили файловую систему при отмене связи, необходимо очистить данные для повторного связывания:

1. Перейдите к Azure Data Lake.

2. Удалите контейнер Dataverse.

3. Перейдите к Power Apps и снова свяжите озеро данных.

Просмотр данных в Azure Data Lake Storage 2-го поколения

1. Выберите нужную службу Azure Synapse Link, затем выберите Перейти к озеру данных Azure на верхней панели.

2. Разверните Файловые системы, затем выберите dataverse-environmentName-organizationUniqueName.

Файл model.json вместе с его именем и версией содержит список таблиц, которые были экспортированы в Data Lake. Файл model.json также содержит начальный статус синхронизации и время завершения синхронизации.

Папка, содержащая файлы моментальных снимков с разделителями-запятыми (формат CSV), отображается для каждой таблицы, экспортируемой в Data Lake.

Связывание рабочей области Synapse только с существующим профилем Azure Synapse Link с озером данных

1. В адресной строке веб-браузера добавьте ?athena.updateLake=true к веб-адресу, который заканчивается на exporttodatalake.

2. Выберите существующий профиль из области Azure Synapse Link, затем выберите расширенный параметр.

3. Выберите Связать с рабочей областью Azure Synapse Analytics и подождите несколько минут, чтобы все связалось.

Постоянные обновления снимков

Данные Microsoft Dataverse могут постоянно изменяться посредством создания, обновления и удаления транзакций. Снимки предоставляют доступную только для чтения копию данных, которая обновляется через регулярные интервалы, в данном случае каждый час. Это гарантирует, что в любой данный момент потребитель данных аналитики может надежно использовать данные в озере.

Когда таблицы добавляются как часть первоначального экспорта, данные таблицы записываются в файлы table.csv в соответствующих папках в Data Lake. Это интервал T1, в котором файл моментального снимка только для чтения с именем таблица-T1.csv — например, Account-T1.csv или Contacts-T1.csv — создан. Кроме того, файл model.json обновляется, чтобы указывать на эти файлы снимков. Открыв файл model.json, вы можете просмотреть детали снимка.

Вот пример разделенного файла Account.csv и папки снимков в Data Lake.

Изменения в Dataverse постоянно передаются в соответствующие файлы CSV с помощью механизма непрерывной передачи. Это интервал T2, где делается еще один снимок. таблица-T2.csv — например, Accounts-T2.csv или Contacts-T2.csv (при условии, что в таблице есть изменения) — и model.json обновляются до новых файлов моментальных снимков. Любой новый человек, который просматривает данные снимка с T2 и далее, направляется на новые файлы снимков. Таким образом, исходный пользователь, просматривающий снимок, может продолжать работать с более старыми файлами снимков T1, в то время как новый просматривающий пользователь может читать последние обновления. Это полезно в сценариях с более длительными процессами в нисходящем направлении.

Вот пример файла model.json, который всегда указывает на файл снимка организации с новейшей отметкой времени.

См. также

Анализ данных Dataverse в озере данных с помощью Power BI

Прием данных Dataverse в озеро данных с помощью фабрики данных Azure

Расширенная конфигурация Azure Synapse Link для Dataverse

Azure Synapse Link: часто задаваемые вопросы