Настройка качества данных Для данных Fabric Lakehouse

В этой статье объясняется, как регистрировать, сканировать и выполнять оценки качества данных Fabric Lakehouse с помощью Microsoft Purview. Прежде чем приступить к работе, ознакомьтесь с предварительными условиями.

Общие сведения о Структуре OneLake

Структура OneLake — это единое единое логическое озеро данных для всей организации. Озеро данных обрабатывает большие объемы данных из различных источников. Как и Microsoft OneDrive, OneLake автоматически поставляется с каждым клиентом Microsoft Fabric и является единым местом для всех аналитических данных. OneLake предоставляет клиентам:

• Одно озеро данных для всей организации
• Одна копия данных для использования с несколькими аналитическими механизмами

OneLake стремится предоставить вам максимально возможную ценность из одной копии данных без перемещения или дублирования данных. Вам больше не нужно копировать данные только для того, чтобы использовать их с другой подсистемой или разорвать разрозненные, чтобы вы могли анализировать данные с данными из других источников. Microsoft Purview можно использовать для каталогизации пространства данных структуры и измерения качества данных, чтобы управлять действиями по улучшению и управлять ими.

Вы можете использовать ярлык для ссылки на данные, хранящиеся в других расположениях файлов. Эти расположения файлов могут находиться в одной рабочей области или в разных рабочих областях, в OneLake или за пределами OneLake в Azure Data Lake Storage (ADLS), Amazon Web Services (AWS) S3 или Dataverse с дополнительными целевыми расположениями в ближайшее время. Расположение источника данных не имеет большого значения. Сочетания клавиш OneLake делают файлы и папки выглядят так, как будто они хранятся локально. Когда команды работают независимо в отдельных рабочих областях, ярлыки позволяют объединять данные из разных бизнес-групп и доменов в виртуальный продукт данных в соответствии с конкретными потребностями пользователя.

Зеркальное отображение можно использовать для объединения данных из различных источников в Fabric. Зеркальное отображение в Fabric — это недорогое решение с низкой задержкой, которое объединяет данные из различных систем в единую платформу аналитики. Вы можете непрерывно реплицировать существующее пространство данных непосредственно в OneLake структуры, включая данные из База данных SQL Azure, Azure Cosmos DB и Snowflake. С самыми актуальными данными в формате queriable в OneLake теперь можно использовать все различные службы в Fabric. Например, выполнение аналитики с помощью Spark, выполнение записных книжек, проектирование данных, визуализация с помощью отчетов Power BI и многое другое. Затем разностные таблицы, созданные на основе зеркальных данных, можно использовать в структуре, что позволяет пользователям ускорить переход к Fabric.

Регистрация Fabric OneLake в качестве источника данных

Чтобы настроить сканирование карты данных, необходимо сначала зарегистрировать источник данных, который требуется сканировать. Чтобы проверить рабочую область Fabric, нет никаких изменений в существующем интерфейсе регистрации клиента Fabric в качестве источника данных. Чтобы зарегистрировать новый источник данных, выполните следующие действия.

• На портале Microsoft Purview перейдите в раздел Карта данных.
• Нажмите Зарегистрировать.
• В разделе Регистрация источников выберите Структура.

Инструкции по настройке см. в разделах Настройка проверки однотенантной структуры и Настройка сканирования структуры между арендаторами.

Настройка сканирования карты данных для Fabric Lakehouse

Чтобы проверить подартифакты Lakehouse, вам не нужно изменять существующий интерфейс в схеме данных, чтобы настроить сканирование. Роли зрителя достаточно для сканирования метаданных и происхождения на уровне элементов.

В настоящее время в качестве метода проверки подлинности поддерживается только субъект-служба. Поддержка управляемых удостоверений (MSI) по-прежнему находится в невыполненной работы.

Инструкции по настройке см. в разделах Настройка проверки однотенантной структуры и Настройка сканирования структуры между арендаторами.

Настройка подключения для сканирования Fabric Lakehouse

После регистрации Fabric Lakehouse в качестве источника можно выбрать Fabric в списке зарегистрированных источников данных на карте данных и выбрать Создать сканирование. Добавьте идентификатор источника данных, а затем выполните следующие действия.

1. Создайте группу безопасности и субъект-службу.

2. Добавьте этот субъект-службу и управляемое удостоверение Purview в эту группу безопасности, а затем укажите эту группу безопасности в параметрах API клиента Fabric Администратор.

3. Свяжите группу безопасности с клиентом Fabric.

   1. Войдите на портал администрирования Fabric.
   2. Выберите страницу Параметры клиента. Вы должны быть Администратор Fabric, чтобы просмотреть страницу параметров клиента.
   3. Выберите Администратор параметры > API Разрешить субъектам-службам использовать API администратора только для чтения.
   4. Выберите Определенные группы безопасности.
   5. Выберите параметры API > Администратор Расширение ответов API администратора с помощью подробных метаданных и Улучшение ответов API администрирования с помощью DAX и гибридных выражений > Включите переключатель, чтобы карта данных автоматически обнаруживать подробные метаданные наборов данных Fabric в ходе сканирования. После обновления параметров API Администратор в клиенте Fabric подождите около 15 минут, прежде чем зарегистрировать подключение для проверки и тестирования.

4. Предоставьте Администратор разрешения API только для чтения для группы безопасности, содержащей субъект-службу и управляемое удостоверение Purview.

5. Добавьте имя субъекта-службы в поле Учетные данные .

6. Добавьте Azure имя ресурса.

   

7. Добавьте идентификатор клиента.

8. Добавление идентификатора принципа службы.

9. Добавьте Key Vault подключение.

10. Добавьте имя секрета.

После завершения сканирования карты данных найдите экземпляр Lakehouse в Единый каталог.

1. На портале Microsoft Purview откройте Единый каталог.
2. Выберите Обнаружение, а затем — Ресурсы данных.
3. На странице Ресурсы данных выберите Microsoft Fabric.
4. Выберите Структура рабочих областей, а затем выберите рабочую область из списка.
5. На странице рабочей области найдите экземпляр Lakehouse в разделе Имя элемента.

Чтобы просмотреть таблицы Lakehouse, выполните приведенные ниже действия.

1. На странице рабочей области выберите имя элемента Таблицы.
2. Выберите ресурс таблицы Lakehouse, указанный в разделе Имя элемента.
3. Просмотрите страницу сведений об активе, чтобы найти метаданные, такие как схема, происхождение и свойства.

Ознакомьтесь с предварительными условиями проверки качества данных Fabric Lakehouse

Перед выполнением проверки качества данных Fabric Lakehouse выполните следующие предварительные требования:

1. Сочетание клавиш, зеркало или загрузка данных в Fabric Lakehouse в разностном формате.

2. Предоставление участнику права на рабочую область для MSI Purview

3. Добавьте отсканированный ресурс данных из Lakehouse в продукты данных домена управления. На странице продукта данных в Единый каталог найдите ресурсы данных и выберите Добавить ресурсы данных. Профилирование данных и проверку качества данных можно выполнять только для ресурсов данных, связанных с продуктами данных в домене управления.

Для профилирования данных и проверки качества данных необходимо создать отдельное подключение к источнику данных. Для сопоставления данных используется подключение проверки субъекта-службы, а Единый каталог качества данных — подключение Fabric с MSI Microsoft Purview. Чтобы настроить подключение к качеству данных, выполните следующие действия.

1. В Единый каталог выберите Управление работоспособностью, а затем — Качество данных.

2. Выберите домен управления и в раскрывающемся списке Управление выберите Подключения.

3. Выберите Создать , чтобы открыть страницу конфигурации подключения.

4. Добавьте отображаемое имя подключения и описание.

5. Добавьте тип источника Fabric.

6. Добавьте идентификатор клиента.

7. Добавьте идентификатор рабочей области.

8. Добавьте идентификатор Lakehouse.

9. Добавьте учетные данные - MICROSOFT Purview MSI.

   

10. Проверьте подключение, чтобы убедиться, что настроено подключение успешно.

    

Если клиент Fabric настроен для работы на виртуальная сеть или в Приватный канал, проверка флажок виртуальная сеть на экране подключения. Затем выберите регион Azure, в котором работают структура и Microsoft Purview, например Северная ЧАСТЬ ОАЭ, Западная Европа или Центральная Канада.

В дополнение к Azure региону необходимо добавить идентификатор ресурса Приватный канал. В следующем примере показан формат:

/subscriptions/07d669d6-83f2-4f15-8b5b-4a4b31a7050e/resourceGroups/pdgbugbashfabricvnet/providers/Microsoft.PowerBI/privateLinkServicesForPowerBI/fabricvnetpl.

Сведения о настройке вычислений для виртуальных сетей см. в статье Настройка качества данных для управляемых виртуальных сетей. Вы также получите сведения о настройке и использовании приватного канала для клиента Fabric. Необходимо настроить приватный канал для клиента Fabric, прежде чем настраивать подключение к виртуальной сети с качеством данных и выделение вычислительных ресурсов.

Профилирование и проверка качества данных в Fabric Lakehouse

После успешной настройки подключения можно профилировать, создавать и применять правила, а также выполнять проверку качества данных (DQ) в Fabric Lakehouse. Выполните следующие действия:

1. Свяжите таблицу Lakehouse с продуктом данных для курирования, обнаружения и подписки. Узнайте, как создавать продукты данных и управлять ими.

2. Таблица Profile Fabric Lakehouse. Узнайте, как настроить и запустить профилирование данных для ресурса данных.

3. Настройте и запустите проверку качества данных для измерения качества данных таблицы Fabric Lakehouse. Узнайте, как настроить и запустить проверку качества данных.

Ограничения

Качество данных для файла Parquet предназначено для поддержки:

• Каталог с файлом частей Parquet. Например: ./Sales/{Parquet Part Files}. Полное имя должно соответствовать .https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions} Убедитесь, что в структуре каталога или подкаталога нет шаблонов {n}; это должно быть прямое полное доменное имя, ведущее к {SparkPartitions}.
• Каталог с Files Partitioned Parquet, секционированные по столбцам в наборе данных, например данные о продажах, секционированные по годам и месяцам. Например: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Оба поддерживаемых шаблона каталога Parquet представляют согласованную схему набора данных Parquet. Ограничение. Оно не предназначено для или не поддерживает произвольные иерархии N каталогов с Files Parquet. Мы советуем клиенту представить данные в (1) или (2) построенной структуре. Поэтому рекомендуется следовать поддерживаемой стандарту parquet или перенести данные в формат delta, совместимый с ACID .

Советы по начальной настройке

Используйте следующие советы при первой настройке проверки качества данных Fabric Lakehouse.

Для карты данных:

• Убедитесь, что субъект-служба (SPN) имеет разрешения рабочей области.
• Убедитесь, что для проверки подключения используется субъект-служба.
• Если вы настраиваете сканирование Lakehouse в первый раз, рекомендуется выполнить полную проверку.
• Убедитесь, что принятые ресурсы были обновлены или обновлены.

Для Единый каталог:

• Для подключения к качеству данных необходимо использовать учетные данные MSI.
• В идеале создайте новый продукт данных для первого тестирования проверки качества данных Lakehouse.
• Добавьте данные, которые были включены, и проверка, что ресурсы данных обновляются.
• Сначала попробуйте запустить профиль. В случае успешного выполнения попробуйте выполнить правило качества данных. Если не удалось выполнить попытку, попробуйте обновить схему ресурса (>схемауправления схемой ,>импорт схемы).
• Некоторым пользователям также пришлось создать новый Lakehouse и образцы данных, чтобы убедиться, что все работает с нуля. В некоторых случаях работа с ресурсами, которые ранее были приема в схеме данных, не согласована.

Ресурсы

Используйте следующие ресурсы для связанных задач и концепций.

Задачи по качеству данных:

• Настройка и запуск профилирования данных
• Настройка и запуск проверки качества данных
• Настройка подключения к качеству данных
• Часто задаваемые вопросы и самостоятельное помощь

Прием данных Fabric:

• Сведения о зеркальном отображении в Fabric
• Сочетания клавиш OneLake

Связанные сценарии качества данных:

• Качество данных для зеркальных источников данных Fabric
• Качество данных для сочетания баз данных Fabric