Настройка добавочной проверки качества данных

Качество данных Microsoft Purview поддерживает добавочные проверки качества данных с помощью фильтрации на основе времени. С помощью добавочных проверок можно выбрать между полными, добавочными или ими при выполнении правил качества данных для ресурсов данных.

Хотя некоторые правила, такие как обнаружение повторяющихся данных, требуют полного сканирования всего набора данных, вы можете эффективно оценить многие проверки качества данных для вновь созданных или обновленных данных. С помощью добавочных проверок эти правила можно выполнять по определенному расписанию, например ежедневно или еженедельно, что повышает производительность и сокращает затраты на сканирование.

С помощью добавочных проверок качества данных можно:

  • Создайте правила, которые выполняются при полной проверке, добавочном сканировании или и том, и в
  • Гибко назначьте существующие правила добавочному или полному выполнению сканирования.
  • Настройте расписания для ресурсов данных для выполнения добавочных проверок через определенные интервалы.

Оценки качества данных вычисляются по всем правилам и ресурсам данных независимо от того, является ли сканирование добавочным или полным. Качество данных Microsoft Purview вычисляет совокупную оценку качества данных, чтобы помочь вам понять общие тенденции качества данных с течением времени.

Преимущества выполнения добавочных проверок

Службам обработки данных и специалистам по обработке данных не всегда требуется часто оценивать качество данных во всем наборе данных за прошлый период, например от пяти до 10 лет. Вы можете периодически оценивать исторические данные, например ежемесячно или ежеквартально, в то время как вновь созданные или обновленные данные часто требуют более частого мониторинга.

С помощью добавочных проверок можно включить непрерывный мониторинг качества данных по последним данным, чтобы можно было быстро выявлять и устранять проблемы, прежде чем они повлияют на подчиненные системы и аналитику.

Настройка и запуск проверки качества данных

Проверки качества данных проверяют ресурсы данных на основе применяемых правил качества данных и дают оценку. Эти оценки могут использоваться для оценки работоспособности данных и устранения любых проблем, которые могут снизить качество данных.

Предварительные условия

  • Для запуска и планирования проверок качества данных пользователям требуется роль администратора качества данных.
  • В настоящее время можно настроить учетную запись Microsoft Purview, чтобы разрешить общий доступ или управляемый доступ к виртуальной сети, чтобы можно было выполнять проверку качества данных.

Жизненный цикл качества данных

Проверка качества данных — это седьмой шаг в жизненном цикле качества данных для ресурса данных. Ниже приведены следующие шаги.

  1. Зарегистрируйте и проверьте источник данных в Схема данных Microsoft Purview.
  2. Назначьте пользователям разрешения на управление качеством данных в Единый каталог, чтобы они могли использовать все функции качества данных.
  3. Добавьте ресурс данных в продукт данных. Этот шаг необходим, только если требуется запустить качество данных для ресурсов данных, связанных с продуктом данных, для вычисления оценки качества данных продукта данных.
  4. Если вы хотите измерить качество данных для автономного ресурса данных, добавьте ресурс данных из карты данных в домен, чтобы выполнить проверку качества данных для ресурса без связи с продуктом данных.
  5. Настройте подключение к источнику данных, чтобы подготовить источник к оценке качества данных.
  6. Настройте контейнер или хранилище для хранения записей об ошибках качества данных для проверки и исправления неудачных записей.
  7. Настройте и запустите профилирование данных для ресурса в источнике данных. После завершения профилирования просмотрите результаты для каждого столбца в ресурсе данных, чтобы понять текущую структуру и состояние данных.
  8. Настройте правила качества данных на основе результатов профилирования и примените их к ресурсу данных.
  9. Выполните проверку качества данных, чтобы понять и улучшить качество данных.

Поддерживаемые многооблачные источники данных

Просмотрите документ о поддерживаемых источниках данных , чтобы просмотреть список поддерживаемых источников данных, включая форматы файлов для профилирования данных и проверки качества данных, с поддержкой виртуальной сети и без нее.

Важно!

Качество данных для файла Parquet предназначено для поддержки:

  1. Каталог с файлом частей Parquet. Например: ./Sales/{Parquet Part Files}. Полное имя должно соответствовать .https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions} Убедитесь, что в структуре каталогов или вложенных каталогов нет шаблонов {n}. Это должно быть прямое полное доменное имя, ведущее к {SparkPartitions}.
  2. Каталог с Files Partitioned Parquet, секционированные по столбцам в наборе данных, например данные о продажах, секционированные по годам и месяцам. Например: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Поддерживаются оба этих основных сценария, которые представляют согласованную схему набора данных Parquet. Ограничение: Он не предназначен для или не поддерживает N произвольных иерархий каталогов с файлами Parquet. Рекомендуется представить данные в (1) или (2) сконструированной структуре.

Качество данных Microsoft Purview в настоящее время не поддерживает указание правил качества данных для карт, списков и структур в структурах данных Parquet.

Поддерживаемые методы проверки подлинности

В настоящее время Microsoft Purview может выполнять проверку качества данных только с помощью управляемого удостоверения в качестве параметра проверки подлинности. Службы качества данных работают в Apache Spark 3.5 и Delta Lake 3.2.1. Дополнительные сведения о поддерживаемых регионах см. в статье Общие сведения о качестве данных.

Важно!

  • При обновлении схемы в источнике данных необходимо импортировать схему со страницы обзора качества данных с помощью функции импорта схемы перед выполнением проверки качества данных.
  • Виртуальная сеть не поддерживается для Google BigQuery.

Настройка и запуск добавочной проверки качества данных

  1. В Единый каталог выберите Управление работоспособностью, а затем — Качество данных.
  2. Выберите домен управления в списке.
  3. Настройте подключение к источнику данных к ресурсам, которые вы проверяете на качество данных , если вы еще этого не сделали.
  4. Выберите продукт данных , чтобы оценить качество данных ресурсов данных , связанных с этим продуктом. Если вы хотите проверить ресурс данных без сопоставления продуктов данных, выберите Добавить ресурсы , чтобы добавить ресурс данных в список ресурсов из карты данных.
  5. Выберите имя ресурса данных, чтобы открыть страницу Обзор качества данных.
  6. Просмотрите существующие правила качества данных и добавьте новые правила, выбрав Правила. Создавайте настраиваемые правила с помощью выражений SQL или языка выражений ADF, если для вашего варианта использования не хватает необходимых правил. Включите или отключите правила, которые вы добавили, если вы хотите отключить или включить какое-либо правило.
  7. Выберите параметр повторения сканирования:
    • Добавочная реализация
    • Full
    • Оба
  8. Выберите Запустить проверку качества в правом верхнем углу страницы обзора.
  9. Включите переключатель Выполнить добавочную проверку и укажите следующие сведения:
    • Выберите временное окно для обновленных данных: последний день, последняя неделя, последние две недели или последний месяц
    • Выберите столбец datetime для добавочного сканирования.
    • На вкладке Добавление правила выберите правила из списка предопределенных правил.
  10. Выберите Запустить проверку качества , чтобы выполнить добавочную проверку.
  11. Планирование добавочной проверки. Чтобы настроить расписание для выполнения проверки качества данных, включите запланированное выполнение, выбрав Включить повторяющуюся проверку и задав нужное расписание. Если вы настроите повторяющееся расписание, кнопка Запустить проверку качества доступна только для чтения на странице Настройка запуска сканирования.
  12. Пока выполняется проверка, вы можете отслеживать ход ее выполнения на странице мониторинга качества данных в домене управления.

Добавочное сканирование качества данных с помощью правил.

Примечание.

  • Поддерживаются столбцы datetime и date , но рекомендуется использовать столбец datetime . Если ресурс данных не содержит столбец метки времени, добавочные проверки качества данных нельзя настроить для ежедневных проверок. Столбец даты не позволяет системе точно вычислить последние 24 часа, что требуется для среза данных за один день для проверки качества данных. Тип данных datetime также чаще используется для созданных, обновленных и других столбцов метки времени.
  • Дни фильтра: 90 дней в течение трех месяцев, 180 дней в течение шести месяцев и 365 дней в течение одного года.
  • Автоматическое планирование выполнения еженедельной проверки по умолчанию включено на уровне ресурса. Если вы хотите отключить автоматическое планирование для ресурса данных, перейдите в раздел Управление>работоспособностью Качество> данныхВыполнить проверку качества, а затем выберите параметр, чтобы отключить запланированное сканирование.
  • При выполнении проверки качества данных вручную на странице Качество данных появляется уведомление с предложением настроить оповещения. Игнорируйте это уведомление, если вы не хотите настраивать оповещения.
  • Совокупная оценка вычисляется как среднее значение добавочной оценки сканирования и полной (обычной) оценки сканирования.
  • Добавочная проверка качества данных не поддерживается для локальных источников данных.

Важно!

Тип сканирования, добавочная оценка качества данных и совокупная оценка качества данных не публикуются в Azure Data Lake Storage 2-го поколения или Fabric Lakehouse для самостоятельной аналитики.

Удаление предыдущих проверок качества данных и журнала

При удалении ресурса данных из продукта данных, если этот ресурс данных имеет оценку качества данных, сначала удалите оценку качества данных, а затем удалите ресурс данных из продукта данных.

При удалении данных журнала качества данных удаляются журнал профиля, журнал проверки качества данных и правила качества данных. Действия по качеству данных не удаляются.

Чтобы удалить предыдущие проверки качества данных для ресурса данных, выполните следующие действия.

  1. В Единый каталог выберите Управление работоспособностью, а затем — Качество данных.
  2. Выберите домен управления в списке.
  3. Выберите продукт данных из списка. Выберите ресурс данных из списка, чтобы перейти на страницу Обзор качества данных. Если вы используете функцию качества данных автономного ресурса данных, выберите ресурс данных из списка ресурсов данных.
  4. Щелкните многоточие (...) в правом верхнем углу страницы Обзор качества данных.
  5. Выберите Удалить данные о качестве данных , чтобы удалить журнал запусков качества данных.

Примечание.

  • Используйте команду Удалить данные о качестве данных для тестовых запусков, запусков с ошибками качества данных или удаления ресурса данных из продукта данных.
  • В системе хранится до 50 моментальных снимков журнала профилирования и оценки качества данных. Чтобы удалить определенный snapshot, выберите нужный запуск журнала и щелкните значок удаления.

Импорт схемы

Если тип данных в схеме не определен, неправильно определен или изменен в источнике, задание качества данных может завершиться ошибкой. Если произойдет сбой, повторно импортируйте схему с помощью возможности импорта схемы. Схемы для источников данных можно импортировать как в общедоступных сетях, так и за частными конечными точками. Список поддерживаемых источников данных см. в статье Источники данных и форматы файлов, поддерживаемые для качества данных. Чтобы импортировать схему из источников данных, выполните следующие действия.

  • Выберите Качество данных в разделе Управление работоспособностью.
  • Выберите бизнес-домен, а затем выберите продукт данных. Выберите ресурс данных из этого продукта данных. Вы пойдете на страницу обзора качества данных.
  • Выберите Схема, а затем выберите переключатель Управление схемами .
  • Выберите Импорт схемы , чтобы импортировать схему.

Связанные материалы

Дальнейшие действия

  • Last updated on