Настройка подключения к источнику данных для качества данных в Единый каталог

Подключения к источнику данных настраивают проверку подлинности, необходимую для профилирования данных для статистического snapshot, или сканируют данные на наличие аномалий качества данных и оценки.

Настройка подключений к источнику данных — это четвертый шаг жизненного цикла качества данных для ресурса данных. Предыдущие шаги:

  1. Назначьте пользователям разрешения на управление качеством данных в Единый каталог для использования всех функций качества данных.
  2. Зарегистрируйте и проверьте источник данных в Схема данных Microsoft Purview.
  3. Добавление ресурсов данных в продукт данных.

Предварительные условия

  1. Для создания подключений к ресурсам данных пользователи должны быть в роли администратора качества данных.
  2. Вам нужен по крайней мере доступ на чтение к источнику данных, для которого настраивается подключение.

Поддерживаемые многооблачные источники данных

Просмотрите документ о поддерживаемых источниках данных , чтобы просмотреть список поддерживаемых источников данных, включая форматы файлов для профилирования данных и проверки качества данных, с поддержкой виртуальной сети и без нее.

В настоящее время проверки качества данных могут выполняться только с использованием управляемого удостоверения в качестве варианта проверки подлинности для собственных источников данных Майкрософт, таких как Microsoft Fabric, Azure Data Lake Storage 2-го поколения, Azure SQL, Synapse и Управляемый экземпляр SQL Azure. Для Azure Databricks, Snowflake и Google BigQuery управляемое удостоверение нельзя использовать в качестве варианта проверки подлинности.

Службы качества данных работают в Apache Spark 3.5 и Delta Lake 3.2.1.

Важно!

Чтобы получить доступ к этим источникам, необходимо задать для источников хранилища Azure открытый брандмауэр, разрешить доверенные службы Azure или использовать частные конечные точки, следуя инструкциям в руководстве по настройке управляемой виртуальной сети с качеством данных.

Microsoft Purview требуются только разрешения на чтение для обнаружения метаданных, выполнения профилирования и проверки качества данных.

Настройка подключения к источнику данных

Выполните следующие действия, чтобы создать новое подключение для продуктов данных и ресурсов данных в домене управления.

  1. В Единый каталог выберите Управление работоспособностью, а затем — Качество данных.
  2. Выберите домен управления в списке.
  3. В раскрывающемся списке Управление выберите Подключения.
  4. В разделе Подключения выберите Создать.
  5. На странице Создание подключения введите отображаемое имя и необязательное описание.
  6. Выберите тип источника.
  7. Выберите один из источников данных: Azure подписку, карту данных или введите источник данных вручную. В зависимости от выбранного источника данных введите необходимые сведения о доступе. Затем подключение проверяется.
  8. Если тестовое подключение прошло успешно, нажмите кнопку Отправить , чтобы завершить настройку подключения.

Совет

  • Вы также можете создать подключение к ресурсам с помощью частных конечных точек и Качество данных Microsoft Purview управляемой виртуальной сети. Узнайте больше о настройке управляемых виртуальных сетей для обеспечения качества данных.
  • Действия по настройке подключения различаются для собственных соединителей. Чтобы настроить подключение для Azure Databricks, Snowflake, Google BigQuery и Azure Synapse, ознакомьтесь с инструкциями по настройке подключения.
  • Чтобы настроить подключение Azure выделенного пула SQL (ранее — Хранилище данных SQL), выберите тип источника в качестве Azure SQL Базы данных и добавьте sqldatawarehouse.database.windows.net в качестве имени конечной точки.
  • Регион виртуальной сети автоматически заполняется из выбранного исходного региона. Сведения об управлении подготовкой виртуальной сети.
  • Для Управляемый экземпляр SQL Azure необходимо указать номер порта для подключения. Номер порта общедоступной конечной точки — 3342, а порт частной конечной точки — 1433.

Предоставление разрешений Microsoft Purview на источник

После создания подключения предоставьте управляемому удостоверению Microsoft Purview разрешения на их сканирование:

Связанные материалы

Дальнейшие действия

  1. Настройте и запустите профилирование данных для ресурса в источнике данных.
  2. Настройте правила качества данных на основе результатов профилирования и примените их к ресурсу данных.
  3. Настройте и запустите проверку качества данных в продукте данных, чтобы оценить качество всех поддерживаемых ресурсов в продукте данных.
  4. Просмотрите результаты сканирования , чтобы оценить текущее качество данных продукта данных.
  • Last updated on