Настройка и запуск профилирования данных для ресурса данных

Профилирование данных — это процесс проверки данных, доступных в разных источниках данных, а также сбора статистики и информации об этих данных. Профилирование данных помогает оценить уровень качества данных в соответствии с определенным набором целей. Если данные низкого качества или управляются в структурах, которые не могут быть интегрированы в соответствии с потребностями организации, страдают бизнес-процессы и принятие решений. Профилирование данных позволяет понять надежность и качество данных, что является необходимым условием для принятия решений на основе данных, которые повышают доход и способствуют росту.

Предварительные условия

  • Чтобы выполнять и планировать проверки качества данных, пользователи должны быть в роли администратора качества данных.
  • В настоящее время можно настроить учетную запись Microsoft Purview, чтобы разрешить общий доступ или управляемый доступ к виртуальной сети, чтобы можно было выполнять проверку качества данных.

Жизненный цикл качества данных

Профилирование данных — это пятый шаг жизненного цикла качества данных для ресурса данных. Ниже приведены следующие шаги.

  1. Назначьте пользователям разрешения на управление качеством данных в Единый каталог для использования всех функций качества данных.
  2. Зарегистрируйте и проверьте источник данных в карте данных Purview.
  3. Добавьте ресурс данных в продукт данных.
  4. Настройте подключение к источнику данных, чтобы подготовить источник к оценке качества данных.

Поддерживаемые многооблачные источники данных

Просмотрите документ о поддерживаемых источниках данных , чтобы просмотреть список поддерживаемых источников данных, включая форматы файлов для профилирования данных и проверки качества данных, с поддержкой виртуальной сети и без нее.

Важно!

Качество данных для файла Parquet предназначено для поддержки:

  1. Каталог с файлом частей Parquet. Например: ./Sales/{Parquet Part Files}. Полное имя должно соответствовать .https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions} Убедитесь, что в структуре каталогов или подкаталогов нет шаблонов {n}; это должно быть прямое полное доменное имя, ведущее к {SparkPartitions}.
  2. Каталог с Files Partitioned Parquet, секционированные по столбцам в наборе данных, например данные о продажах, секционированные по годам и месяцам. Например: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Поддерживаются оба этих основных сценария, которые представляют согласованную схему набора данных Parquet. Ограничение: Он не предназначен для или не поддерживает N произвольных иерархий каталогов с файлами Parquet. Рекомендуется представить данные в (1) или (2) сконструированной структуре.

Поддерживаемые методы проверки подлинности

В настоящее время Microsoft Purview может выполнять проверку качества данных только с помощью управляемого удостоверения в качестве параметра проверки подлинности. Службы качества данных работают в Apache Spark 3.5 и Delta Lake 3.2.1. Дополнительные сведения о поддерживаемых регионах см. в обзоре качества данных.

Важно!

  • При обновлении схемы в источнике данных необходимо импортировать схему со страницы обзора качества данных с помощью функции импорта схемы перед выполнением профилирования данных.
  • Виртуальная сеть не поддерживается для Google BigQuery.
  • В текущей версии можно профилирование 50 столбцов на пакет. Если ресурс данных содержит более 50 столбцов, можно профилирование дополнительных столбцов в нескольких пакетах.
  • Если столбец содержит отдельное значение, не профилирование этого столбца. Столбец с отдельными значениями не может создать нормальное распределение.

Действия по настройке задания профилирования данных

  1. Настройте подключение к источнику данных к ресурсам, которые вы проверяете на качество данных , если вы еще этого не сделали.

  2. В Единый каталог Microsoft Purview выберите Управление работоспособностью, а затем — Качество данных.

  3. Выберите домен управления в списке.

  4. Выберите продукт данных для профилирования ресурса данных , связанного с этим продуктом.

  5. Выберите ресурс данных, чтобы перейти на страницу обзора качества данных для профилирования.

  6. Нажмите кнопку Профиль , чтобы запустить задание профилирования для выбранного ресурса данных.

  7. Подсистема рекомендаций ИИ предлагает потенциально важные столбцы для профилирования данных. Можно отменить выбор рекомендуемых столбцов и (или) выбрать дополнительные столбцы для профилирования.

  8. Выбрав соответствующие столбцы, выберите Запустить профиль.

  9. Пока задание выполняется, его ход выполнения можно отслеживать на странице мониторинга качества данных в домене управления.

  10. По завершении задания выберите вкладку Профиль в меню слева на странице качества данных ресурса, чтобы просмотреть результат профилирования и статистические snapshot. В зависимости от количества столбцов ресурсов данных может быть несколько страниц результатов профиля.

  11. Просмотрите результаты профилирования и статистические меры для каждого столбца.

Общие сведения о результатах профилирования

  • Минимум: минимальная длина символов в столбце.
  • Максимум: максимальная длина символов в столбце.
  • Распределение: нормальное распределение данных.
  • Уникальные значения: значения, которые не повторяются; они уникальны.
  • Повторяющиеся значения: значения, повторяющиеся более одного раза.
  • Пустые или пустые значения: столбец является пустым или пустым.
  • Null: значения NULL в столбце.
  • Среднее значение: среднее или арифметическое среднее.
  • Standard отклонение: статистическая мера, которая оценивает количество вариаций или дисперсии в наборе значений.

Связанные материалы

Дальнейшие действия

  1. Настройте правила качества данных на основе результатов профилирования и примените их к ресурсу данных.
  2. Настройте и запустите проверку качества данных в продукте данных, чтобы оценить качество всех поддерживаемых ресурсов в продукте данных.
  3. Просмотрите результаты сканирования , чтобы оценить текущее качество данных продукта данных.
  • Last updated on