Создание ссылки Azure Synapse для Dataverse с помощью рабочей области Azure Synapse

Вы можете использовать Azure Synapse Link, чтобы подключить данные Microsoft Dataverse к Azure Synapse Analytics для изучения ваших данных и ускорения получения аналитической информации. В этой статье показано, как выполнить следующие задачи:

1. Подключите данные Dataverse к рабочей области Azure Synapse Analytics с помощью службы Synapse Link Azure.
2. Управление таблицами Dataverse, включенными в Synapse Link Azure.
3. Отслеживайте Azure Synapse Link.
4. Отключите Azure Synapse Link.
5. Свяжите снова вашу Azure Synapse Link.
6. Просмотрите данные в Azure Synapse Analytics.

Предпосылки

• Dataverse: у вас должна быть роль безопасности Системный администратор в Dataverse.
• Таблицы, которые требуется экспортировать с помощью Azure Synapse Link, должны иметь включённое свойство Отслеживание изменений. Больше информации: Дополнительные параметры
• Связываемая вами рабочая область Azure Synapse не должна иметь включенную защиту от кражи данных. Дополнительные сведения: создание рабочей области с включенной защитой от кражи данных

Требования к Azure Data Lake Storage 2-го поколения

У вас должна быть учетная запись Azure Data Lake Storage 2-го поколения и следующие роли:

• Владелец
• Участник данных хранилища BLOB-объектов
• Владелец данных хранилища BLOB-объектов

Требование роли владельца: Роль владельца необходима, так как добавление управляемого удостоверения службы Azure Synapse Link в учетную запись хранения является привилегированной операцией. Этот управляемый идентификатор позволяет службе выполнять синхронизацию из "Dataverse" в "Synapse". В настоящее время роль владельца является обязательной и пользовательские роли с аналогичными привилегиями не поддерживаются для этого шага.

Привилегии для управляемого удостоверения:

• Владелец и участник учетной записи хранения: требуются только при первоначальной настройке для создания файловой системы в учетной записи хранения и назначаются в учетной записи хранения. После установки эти привилегии можно удалить без влияния на операции синхронизации.
• Участник данных хранилища BLOB-объектов: требуется для стандартных операций с BLOB-объектами при регулярной синхронизации.
• Владелец данных BLOB-хранилища: В настоящее время требуется для управления данными и разрешениями доступа в сценариях, связанных с Azure Data Lake Storage 2-го поколения.

Учетная запись хранения должна включить иерархическое пространство имен для начальной настройки и разностной синхронизации.

Разрешить доступ к ключу учетной записи хранения требуется только для начальной настройки, так как служба использует авторизацию общего ключа для выполнения привилегированных операций, таких как создание файловой системы и установка ссылки перед переходом на проверку подлинности управляемого удостоверения. После установки доступ на основе ключей больше не нужен.

Учетная запись хранения должна иметь разрешенную область для операций копирования, для которых задано значение Из любой учетной записи хранения.

• Рабочее пространство Synapse: у вас должно быть рабочее пространство Synapse и доступ к роли Администратор Synapse в Synapse Studio. Рабочая область Synapse должна находиться в том же регионе, что и ваша учетная запись Azure Data Lake Storage 2-го поколения. Учетная запись хранения должна быть добавлена в качестве связанной службы в Synapse Studio. Чтобы создать рабочую область Synapse, перейдите в Создание рабочей области Synapse.

Подключение Dataverse к рабочей области Synapse

1. Войдите в Power Apps и выберите предпочитаемую среду.

2. На левой панели навигации выберите Связанные данные, а затем — Другие ссылки. Существующие ссылки Azure Synapse отображаются в этом разделе. Если Связать данные на боковой панели не отображается, выберите …Дополнительно и нажмите Показать все, затем выберите Связать данные в разделе Управление данными.

3. На панели команд выберите +Создать ссылку, а затем выберите Azure Synapse.

4. Выберите параметр Подключиться к рабочей области Azure Synapse.

5. Выберите Подписка, Группа ресурсов, Имя рабочей области и Учетная запись хранения. Убедитесь, что рабочая область Synapse и учетная запись хранения соответствуют требованиям, указанным в разделе Предварительные условия. Нажмите кнопку Далее.

   

   Замечание

   В рамках связывания среды с озером данных вы предоставляете службе Azure Synapse Link доступ к учетной записи хранения. Убедитесь, что вы выполнили предварительные условия создания и настройки учетной записи хранения Azure Data Lake, а также предоставления себе роли владельца для этой учетной записи хранения. Кроме того, вы предоставляете службе потоков данных Power Platform доступ к вашей учетной записи хранения. Дополнительные сведения: Самостоятельная подготовка данных с потоками данных.

6. Выберите таблицы, которые требуется экспортировать, выбрав их по одной или введя список таблиц, разделенных запятыми, в поле поиска, затем выберите Сохранить. Только таблицы с включенным свойством "Отслеживать изменения" можно экспортировать. Больше информации: Дополнительные параметры.

   

Вы можете выполнить описанные выше шаги, чтобы создать ссылку из одной среды для нескольких рабочих областей Azure Synapse Analytics и озер данных Azure в вашей подписке Azure путем добавления озера данных Azure в качестве связанной службы в рабочей области Synapse. Аналогичным образом, можно создать ссылку из нескольких сред в ту же рабочую область Azure Synapse Analytics и озеро данных Azure, всё в рамках одного клиента.

Управление данными таблицы в рабочей области Synapse

После настройки Synapse Link Azure вы можете управлять таблицами, экспортируемыми одним из двух способов:

• В Power Apps (make.powerapps.com) перейдите в раздел Связать данные>Другие ссылки, а затем на панели команд выберите Управление таблицами, чтобы добавить или удалить одну или несколько связанных таблиц.

• На портале Power Apps maker Tables выберите ... рядом с таблицей и выберите связанное озеро данных, в котором требуется экспортировать данные таблицы.

  

Мониторинг Azure Synapse Link

После настройки Synapse Link Azure можно отслеживать Synapse Link Azure на вкладке Tables.

• Будет список таблиц, которые являются частью выбранной Azure Synapse Link.
• Статус синхронизации проходит на разных этапах. NotStarted указывает, что таблица ожидает синхронизации. После того, как начальная синхронизация таблицы Завершена, начинается этап последующей обработки, на котором добавочные обновления не выполняются. В зависимости от размера ваших данных это может занять несколько часов. По мере начала добавочных обновлений дата последней синхронизации будет регулярно обновляться.
• Столбец Подсчет показывает количество записанных строк. Когда для Только добавление задано Нет, это общее количество записей. Когда для Только добавление задано Да, это общее количество изменений.
• В столбцах Только добавление и Стратегия секционирования показано использование различных дополнительных конфигураций.

Отмена связи с Azure Synapse Link

1. Выберите нужную Synapse Link Azure, чтобы отменить связь.

2. Выберите Отменить связь на панели команд.

3. Чтобы удалить как файловую систему озера данных, так и базу данных Synapse, введите имя ссылки для подтверждения.

4. Выберите Да и подождите несколько минут, чтобы все было отключено и удалено.

Повторное установление связи с Azure Synapse Link

Если вы удалили файловую систему при отмене связи, выполните описанные выше действия, чтобы повторно связать ту же рабочую область Synapse и озеро данных. Если вы не удалили файловую систему при отмене связи, необходимо очистить данные для повторного связывания:

1. Перейдите к Azure Synapse Analytics.

2. Выберите ... для несвязанной базы данных и выберите Создать блокнот>Пустой блокнот.

3. Подключите записную книжку к пулу Apache Spark, выбрав пул из раскрывающегося меню. Если у вас нет пула Apache Spark, выберите Управлять пулами, чтобы создать его.

4. Введите следующий скрипт, замените <DATABASE_NAME> именем базы данных, которую нужно отсоединить, и запустите блокнот.

    %%sql
    DROP DATABASE <DATABASE_NAME> CASCADE

5. После запуска блокнота обновите список баз данных на левой панели. Если база данных все еще существует, попробуйте щелкнуть правой кнопкой мыши базу данных и выбрать Удалить.

6. Перейдите в Power Apps и восстановите связь с рабочей областью Synapse и озером данных.

Доступ к данным практически в реальном времени и данным моментальных снимков только для чтения

После создания Azure Synapse Link две версии данных таблицы будут по умолчанию синхронизироваться в Azure Synapse Analytics и/или Azure Data Lake Storage 2-го поколения в вашей подписке Azure, чтобы гарантировать, что вы можете надежно использовать обновленные данные в озере в любой момент времени:

• Практически в режиме реального времени: предоставляет копию данных, синхронизированную из Dataverse через Azure Synapse Link эффективно, обнаруживая, какие данные изменились с момента первоначального извлечения или последней синхронизации.
• Данные моментального снимка: предоставляет доступную только для чтения копию данных почти в реальном времени, которые обновляются через регулярные промежутки времени (в данном случае каждый час).

1. Выберите нужную Azure Synapse Link, а затем выберите Перейти в рабочую область Azure Synapse Analytics на верхней панели.
2. Разверните Базы данных озер в левой панели, выберите dataverse-environmentName-organizationUniqueName, затем разверните Таблицы.

Все Таблицы данных почти в реальном времени перечислены и доступны для анализа в соответствии с соглашением об именовании DataverseTableName. Все Таблицы данных моментальных снимков перечислены и доступны для анализа в соответствии с соглашением об именовании DataverseTableName_partitioned.

См. также

Настройка Azure Synapse Link для Dataverse с Azure Data Lake

Расширенная конфигурация Azure Synapse Link для Dataverse

Azure Synapse Link: часто задаваемые вопросы

Блог: Анонс Azure Synapse Link для Dataverse