Настройка проверки качества данных для продукта данных

Проверки качества данных проверяют ресурсы данных на основе применяемых правил качества данных и дают оценку. Эти оценки могут использоваться для оценки работоспособности данных и решения любых проблем, которые могут снизить качество данных.

Примечание.

Существует два других типа проверок качества данных, которые можно выполнить:

Предварительные условия

  • Для запуска и планирования проверок качества данных пользователям требуется роль администратора качества данных.
  • В настоящее время можно настроить учетную запись Microsoft Purview, чтобы разрешить общий доступ или управляемый доступ к виртуальной сети, чтобы можно было выполнять проверку качества данных.

Жизненный цикл качества данных

Проверка качества данных — это седьмой шаг в жизненном цикле качества данных для ресурса данных. Ниже приведены следующие шаги.

  1. Назначьте пользователям разрешения на управление качеством данных в Единый каталог Microsoft Purview, чтобы они могли использовать все функции качества данных.
  2. Зарегистрируйте и проверьте источник данных в Схема данных Microsoft Purview.
  3. Добавьте ресурс данных в продукт данных.
  4. Настройте подключение к источнику данных, чтобы подготовить источник к оценке качества данных.
  5. Настройте и запустите профилирование данных для ресурса в источнике данных. После завершения профилирования просмотрите результаты для каждого столбца в ресурсе данных, чтобы понять текущую структуру и состояние данных.
  6. Настройте правила качества данных на основе результатов профилирования и примените их к ресурсу данных.

Поддерживаемые многооблачные источники данных

Просмотрите документ о поддерживаемых источниках данных , чтобы просмотреть список поддерживаемых источников данных, включая форматы файлов для профилирования данных и проверки качества данных, с поддержкой виртуальной сети и без нее.

Важно!

Качество данных для файла Parquet предназначено для поддержки:

  1. Каталог с файлом частей Parquet. Например: ./Sales/{Parquet Part Files}. Полное имя должно соответствовать .https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions} Убедитесь, что в структуре каталогов или вложенных каталогов нет шаблонов {n}. Это должно быть прямое полное доменное имя, ведущее к {SparkPartitions}.
  2. Каталог с Files Partitioned Parquet, секционированные по столбцам в наборе данных, например данные о продажах, секционированные по годам и месяцам. Например: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Поддерживаются оба этих основных сценария, которые представляют согласованную схему набора данных Parquet. Ограничение: Он не предназначен для или не поддерживает произвольные иерархии N каталогов с Parquet Files. Рекомендуется представить данные в (1) или (2) сконструированной структуре.

Поддерживаемые методы проверки подлинности

В настоящее время Microsoft Purview может выполнять проверку качества данных только с помощью управляемого удостоверения в качестве параметра проверки подлинности. Службы качества данных работают в Apache Spark 3.5 и Delta Lake 3.2.1. Дополнительные сведения о поддерживаемых регионах см. в статье Общие сведения о качестве данных.

Важно!

  • При обновлении схемы в источнике данных необходимо импортировать схему со страницы обзора качества данных с помощью функции импорта схемы перед выполнением проверки качества данных.
  • Виртуальная сеть не поддерживается для Google BigQuery.

Запуск проверки качества данных

  1. Настройте подключение к источнику данных к ресурсам, которые вы проверяете на качество данных , если вы еще этого не сделали.

  2. В Единый каталог выберите Управление работоспособностью, а затем — Качество данных.

  3. Выберите домен управления в списке.

  4. Выберите продукт данных , чтобы оценить качество данных ресурсов данных , связанных с этим продуктом.

  5. Выберите имя ресурса данных, чтобы открыть страницу Обзор качества данных.

  6. Просмотрите существующие правила качества данных и добавьте новые правила, выбрав Правила. Просмотрите схему ресурса данных, выбрав Схема. Включите или отключите добавленные правила.

  7. Запустите проверку качества, выбрав Запустить проверку качества на странице обзора.

  8. Пока выполняется проверка, вы можете отслеживать ход ее выполнения на странице мониторинга качества данных в домене управления.

Планирование проверок качества данных

Хотя вы можете выполнять проверку качества данных на нерегламентированной основе, выбрав Выполнить проверку качества, в рабочих сценариях исходные данные, скорее всего, будут постоянно обновляться. Чтобы обнаружить проблемы, следует регулярно отслеживать качество данных. Автоматизация процесса сканирования помогает управлять регулярными обновлениями проверок качества.

  1. В Единый каталог выберите Управление работоспособностью, а затем — Качество данных.

  2. Выберите домен управления в списке.

  3. Выберите Управление, а затем — Запланированные проверки.

  4. Заполните форму на странице Создание запланированной проверки . Добавьте имя и описание источника, настроив расписание.

  5. Нажмите Продолжить.

  6. На вкладке Область выберите отдельный продукт и ресурсы данных или все продукты данных и ресурсы данных для всего домена управления.

  7. Нажмите Продолжить.

  8. Задайте расписание в соответствии с вашими предпочтениями и нажмите кнопку Продолжить.

  9. На вкладке Рецензирование выберите Сохранить (или Сохранить и запустить для немедленного тестирования), чтобы завершить планирование проверки качества данных.

Запланированные проверки можно отслеживать на странице мониторинга задания качества данных на вкладке Сканирование .

Примечание.

  • Вы не можете добавить более 30 ресурсов для всех продуктов данных в одном расписании. Создание нескольких расписаний для 30 ресурсов на пакет. Можно настроить выполнение нескольких расписаний в одном окне времени.
  • Автоматическое планирование выполнения еженедельной проверки по умолчанию включено на уровне ресурса. Если вы хотите отключить автоматическое планирование для ресурса данных, перейдите в раздел Управление>работоспособностью Качество> данныхВыполнить проверку качества, а затем выберите параметр, чтобы отключить запланированное сканирование.
  • При выполнении проверки качества данных вручную на странице Качество данных появляется уведомление с предложением настроить оповещения. Игнорируйте это уведомление, если вы не хотите настраивать оповещения.

Удаление предыдущих проверок качества данных и журнала

При удалении ресурса данных из продукта данных, если этот ресурс данных имеет оценку качества данных, сначала необходимо удалить оценку качества данных, а затем удалить ресурс данных из продукта данных.

При удалении данных журнала качества данных удаляются журнал профиля, журнал проверки качества данных и правила качества данных, но действия по качеству данных не удаляются.

Выполните следующие действия, чтобы удалить предыдущие проверки качества данных ресурса данных:

  1. В Единый каталог выберите Управление работоспособностью, а затем — Качество данных.
  2. Выберите домен управления в списке.
  3. Выберите продукт данных из списка.
  4. Выберите ресурс данных из списка, чтобы перейти на страницу Обзор качества данных.
  5. Щелкните многоточие (...) в правом верхнем углу страницы Обзор качества данных.
  6. Выберите Удалить данные о качестве данных , чтобы удалить журнал запусков качества данных.

Примечание.

  • Используйте команду Удалить данные о качестве данных для тестовых запусков, запусков с ошибками качества данных или удаления ресурса данных из продукта данных.
  • В системе хранится до 50 моментальных снимков журнала профилирования и оценки качества данных. Если вы хотите удалить определенный snapshot, выберите нужный запуск журнала и щелкните значок удаления.

Импорт схемы

Если тип данных в схеме не определен, неправильно определен или изменен в источнике, задание качества данных может завершиться ошибкой. Если произойдет сбой, повторно импортируйте схему с помощью возможности импорта схемы. Импорт схемы поддерживается для источников данных как в общедоступных сетях, так и за частными конечными точками. Поддерживаемые источники данных перечислены в разделе Источники данных и форматы файлов, поддерживаемые для качества данных. Чтобы импортировать схему из источников данных, выполните следующие действия.

  • Выберите Качество данных в разделе Управление работоспособностью.
  • Выберите бизнес-домен, затем выберите продукт данных, а затем ресурс данных из этого продукта данных. Вы пойдете на страницу обзора качества данных.
  • Выберите Схема, а затем выберите переключатель Управление схемами .
  • Выберите Импорт схемы , чтобы импортировать схему.

Связанные материалы

Дальнейшие действия

  • Last updated on