Настройка качества данных для каталога Unity Azure Databricks

В этой статье объясняется, как настроить Microsoft Purview для сканирования метаданных Azure каталога Databricks Unity и настройки подключения к качеству данных для профилирования и сканирования данных Databricks. В ней рассматриваются предварительные требования, поддерживаемые ресурсы, конфигурация сканирования карты данных и настройка подключения. Используйте это руководство, если вы являетесь управляющим качеством данных или администратором, который управляет Azure управлением данными Databricks в Microsoft Purview.

Предварительные условия

Прежде чем начать, включите рабочую область Azure Databricks для каталога Unity. Подключите рабочую область к хранилищу метаданных каталога Unity. Последние рабочие области включаются автоматически. Для старых рабочих областей администратору учетных записей может потребоваться включить каталог Unity вручную.

После включения каталога Unity выполните следующие действия.

  • Создание каталогов и схем для хранения объектов базы данных, таких как таблицы и тома.
  • Создайте расположения управляемого хранилища для хранения управляемых таблиц и томов в этих каталогах и схемах.
  • Предоставление пользователю доступа к каталогам, схемам и объектам базы данных.

Рабочие области, автоматически включенные для каталога Unity, подготавливают каталог рабочих областей с широкими привилегиями, предоставляемыми всем пользователям рабочей области. Каталог рабочей области — это удобная отправная точка для пробного использования каталога Unity.

Перед настройкой проверки или подключения сохраните маркер доступа Azure Databricks в Azure Key Vault и предоставьте msi продукта (службы) доступ на чтение (секрет) к Key Vault. Microsoft Purview требуются только разрешения на чтение для обнаружения метаданных, выполнения профилирования и проверки качества данных.

Подробные инструкции по настройке см. в разделе Настройка каталога Unity и управление ими.

Поддерживаемые ресурсы каталога Unity

При сканировании Azure каталоге Databricks Unity Microsoft Purview поддерживает следующие ресурсы:

  • Хранилище метаданных
  • Каталоги
  • Схемы
  • Таблицы, включая столбцы
  • Представления, включая столбцы

При настройке проверки можно выбрать сканирование всего каталога Unity или область сканирование в подмножество каталогов.

Настройка сканирования карты данных для каталога Databricks Unity

Чтобы каталогизировать данные каталога Azure Databricks Unity в Microsoft Purview, настройте сканирование карты данных.

  1. Зарегистрируйте рабочую область Azure Databricks в Microsoft Purview.
  2. Создайте проверку зарегистрированной рабочей области:
    1. Введите имя сканирования.
    2. Выберите каталог Unity в качестве метода извлечения.
    3. Подключитесь через среду выполнения интеграции (Azure среду выполнения интеграции, управляемое виртуальная сеть IR или локальную среду выполнения интеграции, поддерживаемую Kubernetes).
    4. Выберите Проверка подлинности маркера доступа при создании учетных данных. Дополнительные сведения см . в разделе Учетные данные для проверки подлинности источника в схеме данных.
    5. Укажите HTTP-путь Хранилища SQL Databricks, который Microsoft Purview использует для выполнения сканирования.
  3. На странице Область сканирования выберите каталоги, которые нужно проверить.
  4. Выберите набор правил сканирования для классификации. Можно выбрать системные значения по умолчанию, существующие настраиваемые наборы правил или создать встроенный набор правил. Дополнительные сведения см . в разделе Классификация данных на карте данных.
  5. В поле Триггер сканирования укажите, следует ли настроить расписание или запустить проверку один раз.
  6. Просмотрите проверку и выберите Сохранить и запустить.
  7. Просмотрите проверки и запуски сканирования, чтобы убедиться, что каталогизация успешно завершена.

После сканирования отсканированный ресурс каталога Unity доступен в Единый каталог Microsoft Purview поиска. Дополнительные сведения см. в статье Подключение к Azure каталогу Databricks Unity и управление ими в Microsoft Purview.

Примечание.

Проверка качества данных для собственных источников данных Майкрософт (Microsoft Fabric, Azure Data Lake Storage 2-го поколения, Azure SQL, Azure Synapse Analytics и Управляемый экземпляр SQL Azure) использует проверку подлинности с управляемым удостоверением. Для Azure Databricks, Snowflake и Google BigQuery управляемое удостоверение недоступно в качестве варианта проверки подлинности. Вместо этого используйте маркер доступа, хранящийся в Key Vault.

Настройка подключения для проверки качества данных

После завершения проверки Azure Databricks Unity Catalog отсканированный ресурс готов к каталогизации и управлению. Чтобы выполнить проверку качества данных, создайте подключение к качеству данных для источника Databricks Azure и свяжите его с продуктом данных в домене управления.

Важно!

  • Администраторам по качеству данных необходим доступ только на чтение к каталогу Databricks Unity Azure для настройки подключения к качеству данных.
  • Если общий доступ отключен, установите флажок Разрешить доверенные службы Майкрософт для Key Vault. Это требование применяется только к Key Vault, а не к рабочей области Databricks Azure.
  • Поддержка виртуальных сетей общедоступна для всех поддерживаемых Azure регионов. Он временно включен в номера SKU управления данными для обеспечения гибкости на этом этапе. Цены на виртуальные сети пока недоступны для включения в выставление счетов.

  1. На портале Microsoft Purview откройте Единый каталог.

  2. В разделе Управление работоспособностью выберите Качество данных.

  3. Выберите домен управления в списке, а затем выберите Подключения в раскрывающемся списке Управление .

  4. Настройте подключение на странице Подключения :

    • Добавьте имя и описание подключения.
    • Выберите тип источника Azure Databricks.
    • Выберите Azure подписку.
    • Выберите URL-адрес рабочей области.
    • Добавьте идентификатор хранилища метаданных Databricks.
    • Выберите каталог Unity в качестве метода извлечения.
    • Выберите HTTP-путь.
    • Выберите имя каталога unity.
    • Выберите имя схемы.
    • Выберите имя таблицы.
    • Выберите метод проверки подлинности: Маркер доступа.
      • Добавьте Azure подписку.
      • Key Vault подключение.
      • Имя секрета.
      • Версия секрета.
    • Установите флажок Включить управляемую V-Net , если Databricks работает в виртуальной сети.
    • Регион выбирается автоматически.
    • Создайте новую виртуальную сеть, если хранилище виртуальной сети еще не создано.

  5. Если хранилище Databricks находится в виртуальной сети, вы не сможете проверить качество подключения к данным. В противном случае выберите Проверить подключение , чтобы проверить конфигурацию.

Примечание.

  • Полное доменное имя (FQDN) для ресурса данных следует шаблону, например databricks://(metastore-id)/catalogs/(catalog-name)/schemas/(schema-name)/tables/(table-name). Сведения о полном доменном имени для ресурса данных Azure Databricks можно найти на странице Актив карты данных.
  • Если параметры подключения не соответствуют полному доменному имени, подключение может по-прежнему работать, но на странице обзора качества данных отображается ошибка подключения. Убедитесь, что все соответствующие поля заполнены правильно.

Снимок экрана, на котором показано, как настроить подключение databricks UC.

Снимок экрана: настройка маркера подключения databricks.

Выполнение профилирования и проверки качества данных

После настройки подключения вы можете профилировать данные, создать и применить правила, а также выполнить проверку качества данных в базах данных Azure Databricks Unity Catalog. Пошаговые инструкции см. в разделах Настройка и запуск профилирования данных и Настройка и запуск проверки качества данных.

Примечание.

Хранилище SQL XS по умолчанию с одним узлом не подходит для использования в рабочей среде со средними или большими наборами данных. Изучите Azure поведение хранилища Databricks и установите соответствующее вертикальное масштабирование (XS, S, M, L, XL) и горизонтальное масштабирование (8, 16, 32, 64 узла). Начните с M (1–8) хранилища SQL.

Связанные материалы

Дополнительные сведения о Azure Databricks и настройке качества данных:

  • Last updated on