Что такое Unity Catalog?

Каталог Unity — это единый уровень управления для данных и ИИ, встроенный в Azure Databricks. Если Unity Catalog включен для рабочей области, он автоматически лежит в основе всех взаимодействий с данными и ИИ в ваших рабочих областях: применяет контроль доступа при выполнении запросов к таблицам или вызове модели, отслеживает происхождение данных и ресурсов ИИ по мере их использования, регистрирует действия в целях аудита и многое другое. Вы работаете с каталогом объектов Unity с помощью обозревателя Catalog Explorer, SQL, Azure Databricks CLI и REST API.

Каталог Unity автоматически включен для всех рабочих областей Azure Databricks, созданных после 9 ноября 2023 г.

Каталог Unity также доступен как реализация с открытым кодом. Ознакомьтесь с блогом с объявлениями и общедоступным репозиторием Unity Catalog на GitHub.

Объектная модель Unity Catalog

Каждый ресурс, который вы управляете в каталоге Unity, моделирован как защищаемый объект, объект, на котором можно предоставить разрешения пользователям, субъектам-службам или группам. Объекты данных и ИИ, такие как таблицы, представления, тома, функции, модели и службы (службы моделей и службы MCP), используют трёхуровневое пространство имён (catalog.schema.object). Таблицы и тома можно управлять, где каталог Unity обрабатывает как управление, так и базовый жизненный цикл хранилища файлов или внешний, где каталог Unity обрабатывает только управление. Другие объекты, такие как учетные данные хранения, внешние расположения, подключения и общие ресурсы, сидят непосредственно под хранилищем метаданных.

Схема модели объектов Unity Catalog

На следующих страницах подробно описаны основные понятия и рабочие процессы каталога Unity.

Тема Описание
Защищаемые объекты Узнайте о каждом типе объекта в иерархии каталога Unity и о том, как к ним применяются разрешения.
Управляемые и внешние ресурсы Разберитесь в различиях между управляемыми и внешними таблицами и томами, а также в том, когда следует использовать каждый из них.
Требования и ограничения Просмотрите требования к вычислениям, поддерживаемые форматы файлов, ограничения именования и известные ограничения.

Возможности каталога Unity

Каталог Unity предоставляет встроенные средства для управления каждым измерением вашей среды данных и ИИ. В следующих разделах рассматриваются основные области возможностей.

Тема Описание
Управление доступом Управляйте тем, кто к чему может получить доступ, с помощью привилегий, политик на основе атрибутов, фильтров строк и столбцов и привязок рабочих областей.
Обнаружение Взаимодействуйте с защищаемыми объектами с помощью Catalog Explorer — пользовательского интерфейса Azure Databricks для поиска данных и ресурсов ИИ и управления ими, зарегистрированных в Unity Catalog.
Lineage Автоматически отслеживайте поток данных и ресурсов ИИ и подключайте их из исходных данных к моделям, службам и панелям мониторинга.
Аудит Сохраняйте полную запись всех действий доступа к данным и системного действия с помощью таблицы системы журнала аудита.
Классификация данных Автоматически классифицировать конфиденциальные данные и тегировать их в каталоге.
Мониторинг качества данных Проактивно отслеживайте состояние данных с помощью встроенного профилирования и оповещений, которые выявляют аномалии до того, как они повлияют на последующих потребителей.
Общий доступ к данным Безопасно совместное использование динамических данных и ресурсов ИИ в организациях и облаках с помощью открытого протокола OpenSharing.
Управление ИИ Управление ресурсами ИИ и трафиком ИИ с помощью каталога Unity и шлюза ИИ.

Get started

Следующие ресурсы помогут вам приступить к работе с каталогом Unity. Если рабочая область была создана после 9 ноября 2023 г., она автоматически включена в каталог Unity.

Тема Описание
Начало работы с каталогом Unity Проверьте, включен ли каталог Unity для рабочей области и настройте первый каталог, схему и элементы управления доступом к данным.
Переход на Unity Catalog Узнайте, как обновить рабочую область, которая еще не использует каталог Unity.
Руководство по управлению ИИ Настройте управление ресурсами ИИ, трафиком ИИ и поведением службы ИИ.

Дополнительные ресурсы