Настройка проверки качества данных для ресурса данных

Автономный ресурс данных — это ресурс данных, который не связан с продуктом данных в Единый каталог Microsoft Purview. При управлении качеством данных для автономных ресурсов данных можно измерять, отслеживать и улучшать качество этих ресурсов независимо, не требуя сопоставления продуктов данных.

Преимущества запуска качества данных в ресурсе данных

  • Помогает оценить и улучшить качество данных перед связыванием их с продуктом данных. Качество данных Microsoft Purview пользователи могут профилировать и оценить качество своих данных, прежде чем связывать их с продуктом данных. Пользователи могут стандартизировать, очищать и устранять проблемы заранее.

  • Помогает решить, какие ресурсы должны быть частью продукта данных. Понимая качество автономных ресурсов, организации могут принимать обоснованные решения о том, какие ресурсы подходят для курирования и управления в продукте данных.

  • Поддерживает более широкие варианты использования помимо аналитики. Многие организации связывают продукты данных только с вариантами использования аналитики. Автономные ресурсы данных могут служить другим целям, например:

    • Монетизация данных
    • Данные заземления ИИ
    • Рабочие нагрузки

  • Предоставляет унифицированные средства для обеспечения качества данных для всех данных. Организации могут использовать одно решение Качество данных Microsoft Purview для оценки как автономных ресурсов данных, так и ресурсов, связанных с продуктом данных, включая исправление проблем.

  • Помогает оптимизировать хранение данных и снизить затраты. Если автономные ресурсы являются некачеными, неполными или непригодными для использования, организации могут архивировать их в хранилище с более низкими затратами или применять принципы минимализма данных, что сокращает ненужное хранение данных и повышает рентабельность инвестиций.

  • Ускоряет процесс управления данными. Организации могут немедленно приступить к измерению и улучшению качества данных, не дожидаясь определений продуктов данных или вариантов использования. Это значительно ускоряет внедрение системы управления.

Проверки качества данных проверяют ресурсы данных на основе применяемых правил качества данных и дают оценку. Эти оценки могут использоваться для оценки работоспособности данных и решения любых проблем, которые могут снизить качество данных. Ниже приведен пример отображения оценок активов данных в домене управления:

проверка качества ресурса данных stamdalon.

Предварительные условия

  • Для запуска и планирования проверок качества данных требуется роль администратора качества данных.
  • В настоящее время можно настроить учетную запись Microsoft Purview, чтобы разрешить общий доступ или управляемый доступ к виртуальной сети, чтобы можно было выполнять проверку качества данных.
  • Настройте подключение к источнику данных, если оно еще не создано для исходной системы ресурса данных.
  • Настройте хранилище записей об ошибках качества данных, если требуется хранить записи о сбое качества данных для проверки и исправления.

Жизненный цикл качества данных для ресурсов данных

Проверка качества данных — это седьмой шаг в жизненном цикле качества данных для ресурса данных. Ниже приведены следующие шаги.

  1. Зарегистрируйте и проверьте источник данных в Схема данных Microsoft Purview.
  2. Назначьте пользователям разрешения на управление качеством данных в Единый каталог, чтобы они могли использовать все функции качества данных.
  3. Настройте подключение к источнику данных, чтобы подготовить источник к оценке качества данных.
  4. Добавьте ресурс данных из карты данных в домен управления.
  5. Настройте хранилище для хранения записей об ошибках качества данных , если вы хотите сохранить запись об ошибках качества данных для проверки и исправления.
  6. Настройте и запустите профилирование данных для ресурса в источнике данных. После завершения профилирования просмотрите результаты для каждого столбца в ресурсе данных, чтобы понять текущую структуру и состояние данных, чтобы определить, какие правила необходимо создать для непрерывного измерения и мониторинга качества данных.
  7. Настройте правила качества данных на основе результатов профилирования и примените их к ресурсу данных.
  8. Просмотрите записи ошибок качества данных и исправьте их, чтобы улучшить качество данных.

Поддерживаемые многооблачные источники данных

Список поддерживаемых источников данных, включая форматы файлов для профилирования данных и проверки качества данных с поддержкой виртуальной сети и без них, см. в статье Поддерживаемые источники данных.

Важно!

Качество данных для файла Parquet поддерживает:

  1. Каталог с файлом частей Parquet. Например: ./Sales/{Parquet Part Files}. Полное имя (FQN) должно соответствовать .https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions} Убедитесь, что в структуре каталогов или подкаталогов нет шаблонов {n}. Это должно быть прямое полное доменное имя, ведущее к {SparkPartitions}.
  2. Каталог с Files Partitioned Parquet, секционированные по столбцам в наборе данных, например данные о продажах, секционированные по годам и месяцам. Например: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Поддерживаются оба этих основных сценария, которые представляют согласованную схему набора данных Parquet. Ограничение: Эта функция не поддерживает N произвольных иерархий каталогов с файлами Parquet. Представить данные в (1) или (2) построенной структуре.

Поддерживаемые методы проверки подлинности

В настоящее время Microsoft Purview может выполнять проверку качества данных только с помощью управляемого удостоверения в качестве параметра проверки подлинности. Службы качества данных работают в Apache Spark 3.5 и Delta Lake 3.2.1. Дополнительные сведения о поддерживаемых регионах см. в статье Общие сведения о качестве данных.

Важно!

  • При обновлении схемы в источнике данных импортируйте схему со страницы обзора качества данных с помощью функции импорта схемы перед выполнением проверки качества данных.
  • Виртуальная сеть не поддерживается для Google BigQuery.

Выполнение проверки качества данных для автономного ресурса данных

  1. В Единый каталог выберите Управление работоспособностью, а затем — Качество данных.

  2. Выберите домен управления в списке.

  3. Настройте подключение к источнику данных к ресурсам, которые вы проверяете на качество данных , если вы еще этого не сделали.

  4. Выберите ресурс данных и выберите Добавить ресурсы данных , чтобы добавить ресурсы данных из карты данных для оценки качества данных. Выберите нужные ресурсы данных в списке Ресурсы карты данных, чтобы добавить их в домен управления, чтобы начать измерять качество данных.

  5. Выберите имя ресурса данных, чтобы открыть страницу Обзор качества данных.

  6. Профилируйте выбранный ресурс данных, чтобы знать распределение, минимум, максимум, уникальность, полноту, стандартное отклонение и другие статистические меры ресурсов данных.

  7. Чтобы настроить проверку, просмотрите существующие правила качества данных и добавьте новые правила, выбрав Правила. Просмотрите схему ресурса данных, выбрав Схема. Включите или отключите добавленные правила. Если отключить правило, это правило не будет включено в проверку качества данных.

  8. Запустите проверку качества, выбрав Запустить проверку качества на странице обзора.

  9. Пока выполняется проверка, вы можете отслеживать ход ее выполнения на странице мониторинга качества данных в домене управления.

  10. Если вы настроили записи об ошибках качества данных на уровне домена управления или на уровне ресурса данных, проверка записи об ошибках в настроенном хранилище.

Добавление ресурса данных с оценкой качества в другой домен управления

После того как ресурс данных имеет оценку качества данных, его можно добавить в другой домен управления, клонируя его. При необходимости вы можете клонировать и связать один и тот же ресурс данных с любым доменом управления.

  • Выберите ресурс данных с оценкой качества данных.
  • Выберите Добавить в другой домен, а затем выберите домен в раскрывающемся списке.
  • Выберите домен, чтобы добавить выбранный ресурс данных.

Связывание ресурса с оценкой качества с продуктом данных

Вы можете связать ресурс данных с его последней оценкой качества данных с продуктом данных в другой области управления.

  • Выберите ресурс данных с оценкой качества данных.
  • Выберите Добавить в продукт данных, а затем в раскрывающемся списке выберите домен Управления и Продукт данных .
  • Выберите домен и продукт данных, чтобы добавить выбранный ресурс данных.

Если один и тот же ресурс данных связан с несколькими продуктами данных, значение и ожидания качества данных для этого ресурса могут отличаться в зависимости от бизнес-контекста.

Например, ресурс данных профиля клиента может быть связан с продуктом маркетинговых данных для вариантов использования кампании и финансовым продуктом данных для сценариев выставления счетов. В этом случае качество адреса выставления счетов имеет решающее значение для финансов, но менее важно для маркетинга, в то время как качество электронной почты для связи с клиентами имеет решающее значение для маркетинга, но менее актуально для финансов.

Так как ожидания по качеству данных зависят от продукта данных, необходимо выполнять проверку качества данных локально в клонированном или связанном ресурсе в каждом целевом продукте данных, чтобы гарантировать, что качество данных оценивается на основе конкретного варианта использования.

Примечание.

  • При клонировании или связывании ресурса данных с существующей оценкой качества данных на странице Data Quality > Data Asset с другим доменом или продуктом данных необходимо выполнить проверку качества данных локально в целевом домене или продукте данных, где ресурс клонирован или связан.
  • Например, если клонировать ресурс данных с именем Budget с существующей оценкой качества данных из домена Маркетинг в домен Sales, необходимо выполнить проверку качества данных для ресурса Бюджет в домене Sales, чтобы просмотреть обновленную оценку качества данных в этом домене.
  • Аналогичный процесс должен выполняться для любого клонированного или связанного с продуктом данных ресурса.

Важно!

  • Метаданные пороговых значений и оповещений не публикуются в Azure Data Lake Storage 2-го поколения или Fabric Lakehouse для самостоятельной аналитики.
  • Автономные ресурсы данных и связанные с ними метаданные, например оценка качества данных и правила качества данных, не публикуются в Azure Data Lake Storage 2-го поколения или Fabric Lakehouse для самостоятельной аналитики. Если автономный ресурс данных связан с продуктом данных, то связанные метаданные доступны для самостоятельной аналитики с сопоставлением продукта данных.

Роли и разрешения

  • Вы не можете связать автономный ресурс данных с оценкой качества данных с продуктом данных, который находится в опубликованном состоянии. Продукт данных должен находиться в состоянии черновика.
  • Если вы не являетесь владельцем продукта данных, вы не можете добавить автономный ресурс данных в продукт данных.
  • Если у вас нет разрешений для бизнес-домена, вы не сможете клонировать автономный ресурс данных в этот домен.
  • Владелец продукта данных должен иметь локальную или глобальную роль читателя домена или роль читателя качества данных, чтобы просматривать страницу качества данных автономного ресурса данных и связывать ресурс данных (с оценками качества данных и правилами) с продуктом данных.
  • Администратор данных должен иметь локальную или глобальную роль владельца домена для просмотра страницы качества данных автономного ресурса данных.

Примечание.

При удалении ресурса данных из карты данных он отображается в режиме только для чтения и определяется по идентификатору GUID вместо имени ресурса. При наведении указателя мыши на GUID ресурса отображается всплывающее сообщение. Вы не можете выполнять проверку качества данных для удаленных ресурсов, поэтому вы можете удалить ресурс из списка.

Планирование проверок качества данных

Хотя вы можете выполнять проверку качества данных на нерегламентированной основе, выбрав Запустить проверку качества, в рабочих сценариях исходные данные, скорее всего, будут постоянно обновляться. Чтобы обнаружить проблемы, следует регулярно отслеживать качество данных. Автоматизация процесса сканирования помогает управлять регулярными обновлениями проверок качества.

  1. В Единый каталог выберите Управление работоспособностью, а затем — Качество данных.

  2. Выберите домен управления в списке.

  3. Выберите Управление, а затем — Запланированные проверки.

  4. Заполните форму на странице Создание запланированной проверки . Добавьте имя и описание источника, настроив расписание.

  5. Нажмите Продолжить.

  6. На вкладке Область выберите ресурсы данных, которые нужно настроить для запуска качества данных в соответствии с настроенным расписанием.

  7. Нажмите Продолжить.

  8. Задайте расписание в соответствии с вашими предпочтениями и нажмите кнопку Продолжить.

  9. На вкладке Рецензирование выберите Сохранить (или Сохранить и запустить для немедленного тестирования), чтобы завершить планирование проверки качества данных.

Запланированные проверки можно отслеживать на странице мониторинга задания качества данных на вкладке Сканирование .

Примечание.

  • Вы не можете добавить более 30 ресурсов для всех продуктов данных в одном расписании. Создание нескольких расписаний для 30 ресурсов на пакет. Можно настроить выполнение нескольких расписаний в одном окне времени.
  • Автоматическое планирование выполнения еженедельной проверки по умолчанию включено на уровне ресурса. Если вы хотите отключить автоматическое планирование для ресурса данных, перейдите в раздел Управление>работоспособностью Качество> данныхВыполнить проверку качества, а затем выберите параметр, чтобы отключить запланированное сканирование.
  • При выполнении проверки качества данных вручную на странице Качество данных появляется уведомление с предложением настроить оповещения. Игнорируйте это уведомление, если вы не хотите настраивать оповещения.

Удаление предыдущих проверок качества данных и журнала

Чтобы удалить ресурс данных из списка ресурсов данных на странице качества данных, сначала удалите оценку качества данных, если она имеется в ресурсе данных. Затем удалите ресурс данных из списка ресурсов данных качества данных.

При удалении данных журнала качества данных удаляются журнал профиля, журнал проверки качества данных и правила качества данных. Действия по качеству данных не удаляются.

Чтобы удалить предыдущие проверки качества данных для ресурса данных, выполните следующие действия.

  1. В Единый каталог выберите Управление работоспособностью, а затем — Качество данных.
  2. Выберите домен управления в списке.
  3. Выберите ресурс данных из списка, чтобы перейти на страницу Обзор качества данных.
  4. Щелкните многоточие (...) в правом верхнем углу страницы Обзор качества данных.
  5. Выберите Удалить данные о качестве данных , чтобы удалить журнал запусков качества данных.

Примечание.

  • Используйте команду Удалить данные о качестве данных для тестовых запусков, запусков с ошибками качества данных или удаления ресурса данных из списка ресурсов данных качества данных.
  • В системе хранится до 50 моментальных снимков журнала профилирования и оценки качества данных. Чтобы удалить определенный snapshot, выберите нужный запуск журнала и щелкните значок удаления.

Импорт схемы

Если тип данных в схеме не определен, неправильно определен или изменен в источнике, задание качества данных может завершиться ошибкой. Если произойдет сбой, повторно импортируйте схему с помощью возможности импорта схемы. Схемы для источников данных можно импортировать как в общедоступных сетях, так и за частными конечными точками. Список поддерживаемых источников данных см. в статье Источники данных и форматы файлов, поддерживаемые для качества данных. Чтобы импортировать схему из источников данных, выполните следующие действия.

  • Выберите Качество данных в разделе Управление работоспособностью.
  • Выберите домен управления, а затем выберите ресурс данных из списка, чтобы перейти на страницу обзора качества данных.
  • Выберите Схема, а затем выберите переключатель Управление схемами .
  • Выберите Импорт схемы , чтобы импортировать схему.

Связанные материалы

Дальнейшие действия

  • Last updated on