Подключение к Azure каталогу Databricks Unity и управление ими в Microsoft Purview

В этой статье описывается регистрация Azure Databricks, а также проверка подлинности и взаимодействие с каталогом Azure Databricks Unity в Microsoft Purview. Дополнительные сведения о Microsoft Purview см. в вводной статье.

Поддерживаемые возможности

Возможности сканирования

При сканировании Azure каталоге Databricks Unity Microsoft Purview поддерживает:

• Извлечение технических метаданных, в том числе:

  • Хранилище метаданных
  • Каталоги
  • Схемы
  • Таблицы, включая столбцы. Purview поддерживает метаданные внешних таблиц, но происхождение данных не поддерживается.
  • Представления, включая столбцы
  • Теги из каталога Unity (теги, представляющие метки, эквивалентные классификации в каталоге Unity, сканируются в Microsoft Purview в свойствах)

• Получение данных о связях ресурсов между таблицами, представлениями и столбцами во время выполнения записных книжек.

При настройке сканирования можно выбрать сканирование всего каталога Unity или область сканирование в подмножество каталогов.

Другие возможности

Сведения о классификациях, метках конфиденциальности, политиках, происхождении данных и динамическом представлении см. в списке поддерживаемых возможностей.

Известные ограничения

• В Microsoft Purview имена записных книжек Databricks отображаются как числовые идентификаторы, а не как доступные для чтения имена. Это ограничение существует, так как Databricks не предоставляет имена записных книжек в системной таблице каталога Unity.

• Вы можете столкнуться с ошибками, если результаты сканирования из Azure Databricks превышают 1 МБ и Azure хранилище BLOB-объектов, управляемое Databricks, запрещает доступ к общедоступной сети. Чтобы избежать этой проблемы, убедитесь, что Microsoft Purview имеет доступ к внутреннему расположению хранилища DBFS в сканируемой рабочей области Azure Databricks. Дополнительные сведения см. в статье Выбор облака в JDBC.

• Добавочное сканирование доступно только для источника данных Azure Databricks Unity Catalog.

• Сканирование с заданной областью доступно только для параметра каталога Unity в разделе Azure источник данных Databricks.

• Управляемые частные конечные точки можно добавить только для параметра Каталог Unity в разделе Azure источник данных Databricks.

• При удалении объекта из источника данных последующее сканирование не удаляет соответствующий ресурс в Microsoft Purview автоматически.

• Сведения о происхождении данных недоступны в рабочих областях Azure Databricks в регионе Китай. Это ограничение существует, так как системные таблицы Databricks Azure не поддерживаются в этом регионе. Microsoft Purview использует эти таблицы для извлечения происхождения, поэтому не может получить данные о происхождении в этом регионе.

• Задайте для комментария к столбцу таблицы Databricks пустую строку, если вы не хотите, чтобы описание столбца отображалось в Microsoft Purview.

• Происхождение данных для внешних не поддерживается.

• В настоящее время теги не поддерживаются для проверок, выполненных с помощью параметра Kubernetes SHIR.

Дополнительные сведения о других ограничениях, связанных с происхождением собственных Azure Databricks, см. в документации по Azure Databricks.

Предварительные условия

• У вас должна быть учетная запись Azure с активной подпиской. Создайте учетную запись бесплатно.

• У вас должна быть активная учетная запись Microsoft Purview.

• Вам требуется Azure Key Vault и предоставить Microsoft Purview разрешения на доступ к секретам.

• Для регистрации источника данных и управления им на классическом портале управления Microsoft Purview требуются разрешения администратора источника и читателя данных. Дополнительные сведения о разрешениях см. в статье Управление доступом в Microsoft Purview.

• Чтобы проверить Azure каталоге Databricks Unity, Microsoft Purview подключается к хранилищу SQL в рабочей области и использует личный маркер доступа для проверки подлинности. Необходимо иметь рабочую область Azure Databricks, которая включена в каталог Unity и подключена к хранилищу метаданных, которое вы хотите проверить. В рабочей области Databricks Azure:

  • Создайте хранилище SQL. Вы также можете использовать автоматическое создание начального хранилища, если применимо.

  • Запишите HTTP-путь. Его можно найти в разделе Azure Databricks рабочая область > Хранилища SQL хранилище > сведения о подключении к хранилищу > http-пути>.

  • Убедитесь, что у пользователя есть разрешение На использование, чтобы он смог подключиться к хранилищу SQL Azure Databricks. Дополнительные сведения см. в статье Управление доступом к хранилищу SQL.

  • Хранилище SQL в Azure Databricks должно быть запущено, чтобы установить подключение к Microsoft Purview перед настройкой сканирования в Microsoft Purview.

• Чтобы получить происхождение данных из Azure Databricks с помощью Microsoft Purview, необходимо выполнить следующие предварительные требования:

  • Включение схемы системы. Системная схема system.access должна быть включена в каталоге Unity. Это требование существует, так как сведения о происхождении хранятся в системных таблицах, и включение этой схемы позволяет получить доступ к этим таблицам. Дополнительные сведения о мониторинге использования системных таблиц.

  • Права пользователя:

    • Учетная запись пользователя, используемая для проверки, должна иметь права SELECT в следующих системных таблицах:

      • system.access.table_lineage
      • system.access.column_lineage

      Эти разрешения необходимы, так как данные происхождения считываются непосредственно из системных таблиц и без необходимого доступа Microsoft Purview не может получить сведения о происхождении.

      Учетная запись пользователя, используемая для проверки, также должна иметь следующие разрешения:

      • USE CATALOG в системе
      • USE SCHEMA в system.access

• Если рабочая область Azure Databricks не разрешает доступ из общедоступной сети или учетная запись Microsoft Purview не разрешает доступ из всех сетей, для сканирования можно использовать управляемый виртуальная сеть Integration Runtime или локальную среду выполнения интеграции, поддерживаемую Kubernetes. Вы можете настроить управляемую частную конечную точку для Azure Databricks при необходимости, чтобы установить частное подключение.

Настройка источника данных (Azure Databricks и Azure Databricks Unity Catalog)

Вы можете настроить подключение Azure Databricks Unity Catalog к Microsoft Purview с помощью двух источников:

• Azure Databricks (старый источник)
• Каталог Unity Azure Databricks

Различия в возможностях между источниками данных

Возможности соединителя Azure Databricks Unity Catalog различаются в зависимости от источника, используемого для подключения, как описано в следующей таблице:

**Сканирование Azure каталоге Databricks Unity поддерживается через управляемые виртуальная сеть Integration Runtime. Однако управляемая частная конечная точка в этом случае не поддерживается.

Какой источник следует использовать?

Выберите источник в зависимости от потребностей вашей организации или используйте оба варианта параллельно. Переключение между источниками или использование обоих одновременно не приводит к дублированию ресурсов в Microsoft Purview. Эта гибкость позволяет начать с варианта, который лучше всего подходит для текущей настройки и корректировать с течением времени по мере необходимости.

Проверка подлинности для сканирования

Чтобы проверить Azure каталоге Databricks Unity, используйте личные маркеры доступа, управляемые удостоверения или методы проверки подлинности субъекта-службы.

• Для всех объектов, которые требуется перенести в Microsoft Purview, пользователь или субъект-служба должен иметь по крайней мере привилегии SELECT для таблиц и представлений, USE CATALOG в каталоге объекта и USE SCHEMA в схеме объекта.

  • Чтобы проверить все объекты в хранилище метаданных каталога Unity, используйте пользователя или субъекта-службы с ролью администратора хранилища метаданных. Дополнительные сведения см. в разделах Управление привилегиями в каталоге Unity и привилегиями каталога Unity и защищаемыми объектами.

    • Для классификации пользователь также должен иметь права SELECT в таблицах и представлениях для получения примеров данных.

Регистрация

В этом разделе описывается регистрация рабочей области Azure Databricks в Microsoft Purview с помощью классического портала управления Microsoft Purview.

1. Перейдите к учетной записи Microsoft Purview.

2. Выберите Карта данных в левой области.

3. Нажмите Зарегистрировать.

4. В разделе Регистрация источников выберите Azure Databricks Unity Catalog>Continue.

5. На экране Регистрация источников (Azure Каталог Databricks Unity) выполните следующие действия.

6. В поле Имя введите имя, которое Microsoft Purview будет отображать в качестве источника данных.

   1. В поле Идентификатор хранилища метаданных введите идентификатор хранилища метаданных для хранилища метаданных Azure Databricks Unity Catalog, которое требуется проверить.

   2. Выберите коллекцию из списка.

7. Нажмите Готово.

Проверка

Выполните следующие действия, чтобы проверить Azure Databricks и автоматически определить ресурсы. Дополнительные сведения о сканировании см. в статье Сканирование и прием данных в Microsoft Purview.

1. Перейдите в раздел Источники.

2. Выберите зарегистрированный Azure Databricks.

3. Выберите + Создать сканирование.

4. Укажите следующие сведения.

   1. Имя. Введите имя проверки.

   2. Подключение через среду выполнения интеграции. Выберите среду выполнения интеграции по умолчанию Azure, управляемое виртуальная сеть IR или созданную вами локальную среду выполнения интеграции с поддержкой Kubernetes.

   3. Учетные данные. Выберите учетные данные для подключения к источнику данных. Убедитесь, что:

      • Выберите Маркер доступа, Управляемое удостоверение или Субъект-служба.
      • При регистрации проверки можно создать новый маркер доступа или учетные данные субъекта-службы. Дополнительные сведения см. в разделе Учетные данные для проверки подлинности источника в Microsoft Purview.

   4. URL-адрес рабочей области: Укажите URL-адрес рабочей области, которую требуется проверить.

      1. Путь HTTP: Укажите HTTP-путь databricks SQL Warehouse, к которому подключается Microsoft Purview и выполняет проверку; например, /sql/1.0/endpoints/xxxxxxxxxxxxxxxx. Его можно найти в рабочей области Azure Databricks —> хранилища SQL —> ваше хранилище —> сведения о подключении —> путь HTTP.

   5. Извлечение происхождения: Переключите извлечение происхождения в значение Вкл. , чтобы получить происхождение отсканированных ресурсов.

5. Выберите Проверить подключение , чтобы проверить параметры.

   

6. Нажмите Продолжить.

7. На странице Область сканирования выберите один или несколько каталогов, в которых нужно ограничить сканирование. Используйте расширенный режим (предварительная версия), чтобы выбрать пути к определенным элементам для включения или исключения из сканирования.

   

8. В поле Триггер сканирования укажите, следует ли настроить расписание или запустить проверку один раз.

9. Просмотрите проверку и выберите Сохранить и запустить.

После успешного завершения сканирования узнайте, как просматривать и искать ресурсы.

Просмотр проверок и запусков сканирования

Чтобы просмотреть существующие проверки, выполните приведенные далее действия.

1. Перейдите на портал Microsoft Purview. В левой области выберите Карта данных.
2. Выберите источник данных. Список существующих проверок для этого источника данных можно просмотреть в разделе Последние проверки или просмотреть все проверки на вкладке Сканирование .
3. Выберите сканирование с результатами, которые вы хотите просмотреть. На панели отображаются все предыдущие запуски сканирования, а также состояние и метрики для каждого запуска сканирования.
4. Выберите идентификатор запуска, чтобы проверка сведения о выполнении проверки.

Управление проверками

Чтобы изменить, отменить или удалить сканирование:

1. Перейдите на портал Microsoft Purview. В левой области выберите Карта данных.

2. Выберите источник данных. Список существующих проверок для этого источника данных можно просмотреть в разделе Последние проверки или просмотреть все проверки на вкладке Сканирование .

3. Выберите проверку, которой вы хотите управлять. Далее вы можете:

   • Измените сканирование, выбрав Изменить проверку.
   • Отмените выполняемую проверку, выбрав Отмена выполнения проверки.
   • Удалите сканирование, выбрав Удалить сканирование.

Обзор и поиск ресурсов

После сканирования Azure Databricks можно просмотреть Единый каталог или выполнить поиск Единый каталог, чтобы просмотреть сведения об активе и происхождении.

При просмотре по типам источников вы увидите две записи для каталога Azure Databricks Unity и Azure Databricks. Запись Azure Databricks Unity Catalog содержит артефакты каталога Unity, включая хранилище метаданных и его каталоги, схемы, таблицы и представления. Запись Azure Databricks содержит артефакты рабочей области.

В ресурсе рабочей области Azure Databricks на вкладке Свойства можно найти связанный каталог Unity. Связь также работает в обратном направлении.

Lineage

При просмотре определенного Azure ресурса Databricks можно увидеть записные книжки, в которых записана происхождение данных.

Перейдите к ресурсу и выберите вкладку Происхождения. Сведения о происхождении данных можно просмотреть в ресурсе Azure Databricks Notebook или ресурсе таблицы и представления, если это применимо.

Поддерживаемые сценарии происхождения данных

• Происхождение данных поддерживается для таблиц и представлений, когда они подключены через записные книжки Databricks в каталоге Unity.

• Происхождение данных отображается только для объектов, сканированных с помощью Microsoft Purview. Все связанные ресурсы должны быть проверены для формирования полного графа происхождения. Убедитесь, что все рабочие области Databricks с соответствующими записными книжками включены в проверки Microsoft Purview.

Ограничения происхождения данных

• При выполнении записных книжек с помощью заданий Databricks данные на уровне столбцов могут не записываться.
• Microsoft Purview показывает только частичное происхождение происхождения, если вы не сканируете все объекты, участвующие в потоке данных. Например, если записная книжка в рабочей области A записывает данные в таблицу в рабочей области B, но вы сканируете рабочую область А только с помощью Microsoft Purview, в журнале будет отображаться записная книжка, но не целевая таблица, что приводит к неполному происхождению данных.
• Если внешняя служба активирует записную книжку (например, Фабрика данных Azure конвейер [ADF], вызывающий задание Databricks), происхождение данных в Microsoft Purview не отражает эту зависимость.
  • В этом случае происхождение между наборами данных ADF и ресурсами Databricks не отображается.
  • Записывается только происхождение данных, созданных в записных книжках Databricks.

Отсутствует сценарий происхождения данных

Извлечение происхождения является пассивным; Microsoft Purview принимает только то, что системная таблица каталога Unity регистрирует и делает доступными.

• Чтобы убедиться, что сценарий происхождения данных поддерживается, см. в предыдущих разделах.
• Убедитесь, что системные таблицы происхождения Unity catalog (system.access.table_lineage, system.access.column_lineage) заполнены правильно.
• Если у вас по-прежнему возникают проблемы, отправьте запрос в службу поддержки.

Поддерживаемые сценарии происхождения данных в каталоге Databricks Unity см. в разделе Поддерживаемые возможности . Дополнительные сведения о происхождении данных в целом см. в руководстве пользователя по происхождению данных и происхождению данных.

Вопросы и ответы

Записывает ли Microsoft Purview происхождение данных на уровне столбцов из каталога Unity?

Microsoft Purview записывает данные происхождения как на уровне таблицы каталога Unity, так и на уровне представления, а также на уровне столбца.

Почему не отображается происхождение на уровне столбцов?

Происхождение данных на уровне столбцов появляется при запуске записной книжки из кластера. Хранилища SQL не создают происхождение данных на уровне столбцов.

Разделы справки исправить ошибку времени ожидания?

Проверка может не завершиться, если рабочая область содержит большое количество ресурсов. Чтобы устранить эту проблему, область сканирование в несколько каталогов одновременно. Такой подход сокращает количество ресурсов в каждой проверке и помогает завершить сканирование.

Почему Microsoft Purview не извлекла происхождение после запуска записной книжки?

После запуска записной книжки Databricks может потребоваться несколько минут, чтобы обновить сведения о происхождении в системных таблицах. Microsoft Purview может получить происхождение после обновления системных таблиц.

Дальнейшие действия

После регистрации источника используйте следующие руководства, чтобы узнать больше о Microsoft Purview и ваших данных:

• Поиск в Единый каталог
• Аналитика ресурсов данных в Microsoft Purview