Управление данными с помощью каталога Unity

В этом руководстве показано, как управлять доступом к данным и объектам ИИ в Azure Databricks. Сведения о безопасности Azure Databricks см. в разделе "Безопасность и соответствие". Azure Databricks обеспечивает централизованное управление данными и ИИ с помощью Unity Catalog и Delta Sharing.

Централизованное управление доступом с помощью каталога Unity

Unity Catalog — это решение для тонкого управления данными и ИИ на платформе Databricks. Это помогает упростить безопасность и управление ресурсами ИИ, предоставляя централизованное место для администрирования и аудита доступа к данным и ресурсам ИИ.

В большинстве учетных записей каталог Unity включен по умолчанию при создании рабочей области. Дополнительные сведения см. в разделе "Автоматическое включение Unity Catalog".

Для обсуждения того, как эффективно использовать Unity Catalog, см. лучшие практики использования Unity Catalog.

Отслеживание происхождения данных с помощью каталога Unity

Каталог Unity можно использовать для сбора линейной последовательности данных времени выполнения по всем запросам, выполненным на любом языке, в кластере Azure Databricks или SQL-складе. Родословная данных отслеживается до уровня столбца и включает записные книжки, задания и панели мониторинга, связанные с запросом. Дополнительные сведения см. в статье Просмотр происхождения данных с помощью каталога Unity.

Обнаружение данных с помощью обозревателя каталогов

Обозреватель каталога Databricks предоставляет пользовательский интерфейс для изучения и управления данными и активами ИИ, включая схемы (базы данных), таблицы, объёмы (нетабличные данные) и зарегистрированные модели машинного обучения, а также разрешения на активы, владельцев данных, внешние расположения и учетные данные. Вкладка "Аналитика" в обозревателе каталогов позволяет просматривать самые частые последние запросы и пользователей любой таблицы, зарегистрированной в каталоге Unity.

Совместное использование данных с помощью Delta Sharing

Delta Sharing — это открытый протокол, разработанный Databricks для безопасного обмена данными и активами ИИ с другими организациями или с другими командами в вашей организации, независимо от того, какие вычислительные платформы они используют.

Настройка ведения журналов аудита

Databricks предоставляет доступ к журналам действий аудита, выполняемых пользователями Databricks, что позволяет вашей организации отслеживать подробные шаблоны использования Databricks.

Каталог Unity позволяет легко получать доступ к операционным данным учетной записи и запрашивать их, включая журналы аудита, оплачиваемое использование и происхождение с помощью системных таблиц (общедоступная предварительная версия).

Настройка идентификации

Каждая хорошая история управления данными начинается с надежной основы идентификации. Чтобы узнать, как лучше всего настроить удостоверения в Azure Databricks, см. лучшие практики настройки удостоверений.

Устаревшие решения по управлению данными

Azure Databricks также предоставляет эти устаревшие модели управления:

• Управление доступом к таблицам — это устаревшая модель управления данными, которая позволяет программно предоставлять и отменять доступ к объектам, управляемым встроенным хранилищем метаданных Hive рабочей области. Databricks рекомендует использовать каталог Unity вместо управления доступом к таблицам. Каталог Unity упрощает безопасность и управление данными, предоставляя централизованное место для администрирования и аудита доступа к данным в нескольких рабочих областях в вашей учетной записи.

• Сквозная передача учетных данных Azure Data Lake Storage (устаревшая) также является устаревшей функцией управления данными, которая позволяет автоматически проходить аутентификацию в Azure Storage из кластеров Azure Databricks с помощью той же учетной записи Microsoft Entra ID, которую вы используете для входа в Azure Databricks. Databricks рекомендует использовать каталог Unity.