Создание ссылки Azure Synapse для Dataverse с помощью рабочей области Azure Synapse

Вы можете использовать Azure Synapse Link, чтобы подключить данные Microsoft Dataverse к Azure Synapse Analytics для изучения ваших данных и ускорения получения аналитической информации. В этой статье показано, как выполнить следующие задачи:

  1. Подключите данные Dataverse к рабочей области Azure Synapse Analytics с помощью службы Synapse Link Azure.
  2. Управление таблицами Dataverse, включенными в Synapse Link Azure.
  3. Отслеживайте Azure Synapse Link.
  4. Отключите Azure Synapse Link.
  5. Свяжите снова вашу Azure Synapse Link.
  6. Просмотрите данные в Azure Synapse Analytics.

Замечание

Azure Synapse Link for Microsoft Dataverse ранее называлось "Экспорт в Data Lake". Служба была переименована в мае 2021 года и продолжит экспортировать данные в Azure Data Lake, а также Azure Synapse Analytics.

Предпосылки

Требования к Azure Data Lake Storage 2-го поколения

У вас должна быть учетная запись Azure Data Lake Storage 2-го поколения и следующие роли:

  • Владелец
  • Сотрудник по работе с BLOB-данными хранилища
  • Администратор данных BLOB-объектов хранилища

Требование роли владельца: Роль владельца необходима, так как добавление управляемого удостоверения службы Azure Synapse Link в учетную запись хранения является привилегированной операцией. Этот управляемый идентификатор позволяет службе выполнять синхронизацию из "Dataverse" в "Synapse". В настоящее время роль владельца является обязательной и пользовательские роли с аналогичными привилегиями не поддерживаются для этого шага.

Привилегии для управляемого удостоверения:

  • Владелец и Участник учетной записи хранения: Требуется только при первоначальной настройке для создания файловой системы в учетной записи хранения и назначаются в учетной записи хранения. После установки эти привилегии можно удалить без влияния на операции синхронизации.
  • Участник данных хранилища BLOB-объектов: требуется для стандартных операций с BLOB-объектами при регулярной синхронизации.
  • Владелец данных BLOB-хранилища: В настоящее время требуется для управления данными и разрешениями доступа в сценариях, связанных с Azure Data Lake Storage 2-го поколения.

Учетная запись хранения должна включить иерархическое пространство имен для начальной настройки и разностной синхронизации.

Разрешить доступ к ключу учетной записи хранения требуется только для начальной настройки, так как служба использует авторизацию общего ключа для выполнения привилегированных операций, таких как создание файловой системы и установка ссылки перед переходом на проверку подлинности управляемого удостоверения. После установки доступ на основе ключей больше не нужен.

Учетная запись хранения должна иметь разрешенную область для операций копирования, для которых задано значение From any storage account.

  • Рабочее пространство Synapse: у вас должно быть рабочее пространство Synapse и доступ к роли Администратор Synapse в Synapse Studio. Рабочая область Synapse должна находиться в том же регионе, что и ваша учетная запись Azure Data Lake Storage 2-го поколения. Учетная запись хранения должна быть добавлена в качестве связанной службы в Synapse Studio. Чтобы создать рабочую область Synapse, перейдите в Создание рабочей области Synapse.

Замечание

  • Учетная запись хранения и рабочая область Synapse должны быть созданы в том же клиенте Microsoft Entra, что и ваш клиент Power Apps.
  • Чтобы задать Включено из выбранных виртуальных сетей и IP-адресов на связанную учётную запись хранения данных и рабочую область, необходимо создать Azure Synapse Link с управляемыми удостоверениями. Дополнительные сведения: Используйте управляемые удостоверения для Azure с вашим хранилищем данных озера Azure (если управляемые удостоверения не настроены, необходимо включить доступ к публичной сети для ресурсов Azure как для начальной настройки, так и для разностной синхронизации.)
  • Рабочие области Synapse с управляемыми частными конечными точками, защитой от кражи данных или управляемыми виртуальными сетями не поддерживаются.
  • У вас должен быть доступ роли Читатель для группы ресурсов с учетной записью хранения и рабочей областью Synapse.
  • При добавлении нескольких пользователей в рабочую область Synapse, они должны иметь доступ к роли Synapse Administrator в Synapse Studio и роли Storage Blob Data Contributor в учетной записи Azure Data Lake Storage 2-го поколения.
  • Создание профилей Synapse Link в одной среде DV ограничено не более 10.

Подключение Dataverse к рабочей области Synapse

  1. Войдите в Power Apps и выберите предпочитаемую среду.

  2. В области навигации слева выберите Azure Synapse Link. Если Azure Synapse Link не отображается на боковой панели, выберите ... Дополнительные и выберите Discover all. Выберите Azure Synapse Link в разделе Управление данными.

  3. На панели команд выберите Создать связь.

  4. Выберите параметр Подключиться к рабочей области Azure Synapse.

  5. Выберите Подписка, Группа ресурсов, Имя рабочей области и Учетная запись хранения. Убедитесь, что рабочая область Synapse и учетная запись хранения соответствуют требованиям, указанным в разделе Предварительные условия. Нажмите кнопку Далее.

    Подключение к рабочей области.

    Замечание

    В рамках связывания среды с озером данных вы предоставляете службе Azure Synapse Link доступ к учетной записи хранения. Убедитесь, что вы выполнили предварительные условия создания и настройки учетной записи хранения Azure Data Lake, а также предоставления себе роли владельца для этой учетной записи хранения. Кроме того, вы предоставляете службе потоков данных Power Platform доступ к вашей учетной записи хранения. Дополнительные сведения: Самостоятельная подготовка данных с потоками данных.

  6. Выберите таблицы, которые требуется экспортировать, выбрав их по одной или введя список таблиц, разделенных запятыми, в поле поиска, затем выберите Сохранить. Только таблицы с включенным свойством "Отслеживать изменения" можно экспортировать. Больше информации: Дополнительные параметры.

    Добавьте таблицы.

Чтобы создать ссылку из одной среды в несколько рабочих областей Azure Synapse Analytics и озёр данных Azure в подписке Azure, добавьте озеро данных Azure в качестве связанного ресурса в рабочей области Synapse Analytics. Аналогичным образом, можно создать ссылку из нескольких сред в ту же рабочую область Azure Synapse Analytics и озеро данных Azure, всё в рамках одного клиента.

Замечание

Служба Azure Synapse Link для Dataverse легко интегрирована в Power Platform в качестве встроенной функции. Она соответствует стандартам безопасности и управления, установленным для хранения данных и управления в Power Platform. Дополнительная информация: Хранение данных и управление

Данные, экспортированные службой Azure Synapse Link, шифруются при передаче с помощью протокола TLS 1.2 или более поздней версии и шифруются в Azure Data Lake Storage 2-го поколения. Кроме того, временные данные в хранилище BLOB-объектов также зашифрованы в неактивном состоянии. Шифрование в Azure Data Lake Storage 2-го поколения помогает защитить данные, реализовать корпоративные политики безопасности и соответствовать нормативным требованиям. Дополнительные сведения: Шифрование данных в состоянии покоя в Azure - Дополнительные сведения: Настройка брандмауэров и виртуальных сетей служба хранилища Azure

Управление данными таблицы в рабочей области Synapse

После настройки Synapse Link Azure вы можете управлять таблицами, экспортируемыми одним из двух способов:

  • В области Power Apps (make.powerapps.com) Azure Synapse Link выберите таблицы Manage на панели команд, чтобы добавить или удалить одну или несколько связанных таблиц.

  • На портале Power Apps maker Tables выберите ... рядом с таблицей и выберите связанное озеро данных, в котором требуется экспортировать данные таблицы.

    Выберите таблицу для экспорта.

После настройки Synapse Link Azure можно отслеживать Synapse Link Azure на вкладке Tables.

Мониторинг Azure Synapse Link

  • Будет список таблиц, которые являются частью выбранной Azure Synapse Link.
  • Статус синхронизации проходит на разных этапах. NotStarted указывает, что таблица ожидает синхронизации. После того, как начальная синхронизация таблицы Завершена, начинается этап последующей обработки, на котором добавочные обновления не выполняются. В зависимости от размера ваших данных это может занять несколько часов. По мере начала добавочных обновлений дата последней синхронизации будет регулярно обновляться.
  • Столбец Подсчет показывает количество записанных строк. Когда для Только добавление задано Нет, это общее количество записей. Когда для Только добавление задано Да, это общее количество изменений.
  • В столбцах Только добавление и Стратегия секционирования показано использование различных дополнительных конфигураций.

  1. Выберите нужную Synapse Link Azure, чтобы отменить связь.

  2. Выберите Отменить связь на панели команд.

  3. Чтобы удалить как файловую систему озера данных, так и базу данных Synapse, введите имя ссылки для подтверждения.

  4. Выберите Да и подождите несколько минут, чтобы все было отключено и удалено.

Это важно

Пользовательские объекты базы данных, создаваемые в базе данных Azure Synapse Link, удаляются после завершения отмены связи.

Вам необходимо реализовать собственную систему управления версиями ваших пользовательских сценариев объектов базы данных, чтобы обеспечить наличие резервной копии.

Если вы удалили файловую систему при отмене связи, выполните описанные выше действия, чтобы повторно связать ту же рабочую область Synapse и озеро данных. Если вы не удалили файловую систему при отмене связи, необходимо очистить данные для повторного связывания:

  1. Перейдите по Azure Synapse Analytics.

  2. Выберите ... для несвязанной базы данных и выберите Создать блокнот>Пустой блокнот.

  3. Подключите записную книжку к пулу Apache Spark, выбрав пул из раскрывающегося меню. Если у вас нет пула Apache Spark, выберите Управлять пулами, чтобы создать его.

  4. Введите следующий скрипт, замените <DATABASE_NAME> именем базы данных, которую нужно отсоединить, и запустите блокнот.

    %%sql
    DROP DATABASE <DATABASE_NAME> CASCADE

  1. После запуска блокнота обновите список баз данных на левой панели. Если база данных все еще существует, попробуйте щелкнуть правой кнопкой мыши базу данных и выбрать Удалить.

  2. Перейдите в Power Apps и восстановите связь с рабочей областью Synapse и озером данных.

Доступ к данным практически в реальном времени и данным моментальных снимков только для чтения

После создания Azure Synapse Link две версии данных таблицы будут синхронизированы по умолчанию в Azure Synapse Analytics и/или Azure Data Lake Storage 2-го поколения в вашей подписке Azure, чтобы обеспечить надежный доступ к обновленным данным в хранилище данных в любое заданное время.

  • Практически в режиме реального времени: предоставляет копию данных, синхронизированную из Dataverse через Azure Synapse Link эффективно, обнаруживая, какие данные изменились с момента первоначального извлечения или последней синхронизации.
  • Данные моментального снимка: предоставляет доступную только для чтения копию данных почти в реальном времени, которые обновляются через регулярные промежутки времени (в данном случае каждый час).

Замечание

  • Производительность синхронизации практически в режиме реального времени зависит от нескольких факторов, включая начальный размер нагрузки данных, скорость обработки данных и объем изменений. В ситуациях с большими объемами транзакций, такими как процессы в приложениях Finance и Operations, создающих миллионы записей за короткое время, или процессы, такие как функция главного планирования, включенная в Dynamics 365 Supply Chain Management, которые удаляют и повторно создают большие объемы записей. Synapse Link должен синхронизировать все изменения, включая удаления. В этих сценариях с большим объемом доступность данных в почти реальном времени не может быть гарантирована. 
  • Для создания доступных только для чтения данных моментального снимка убедитесь, что параметр Разрешенная область для операций копирования установлен в значение Из любой учетной записи хранения. Дополнительная информация: Настройка разрешенной области для операций копирования
  1. Выберите нужную Azure Synapse Link, а затем выберите Перейти в рабочую область Azure Synapse Analytics на верхней панели.
  2. Разверните Базы данных озер в левой панели, выберите dataverse-environmentName-organizationUniqueName, затем разверните Таблицы.

Все Таблицы данных почти в реальном времени перечислены и доступны для анализа в соответствии с соглашением об именовании DataverseTableName. Все Таблицы данных моментальных снимков перечислены и доступны для анализа в соответствии с соглашением об именовании DataverseTableName_partitioned.

Таблицы данных почти в реальном времени и моментальных снимков

Что дальше?

После успешного использования службы Azure Synapse Link для Dataverse вы узнаете, как анализировать и использовать данные с помощью центра Discover Hub. Чтобы получить доступ к хабу Discover Hub, перейдите в Power Apps>Azure Synapse Link. Выберите связанный сервис, затем выберите вкладку Центр обнаружения. Здесь вы можете найти рекомендуемые инструменты и тщательно подобранную документацию, которые помогут вам извлечь максимальную пользу из ваших данных. Центр обнаружения.

См. также

Настройка Azure Synapse Link для Dataverse с Azure Data Lake

Расширенная конфигурация Azure Synapse Link для Dataverse

Azure Synapse Link: часто задаваемые вопросы

Блог: Анонс Azure Synapse Link для Dataverse

  • Last updated on