Что такое Unity Catalog?

В этой статье представлен каталог Unity, унифицированное решение для управления данными и ресурсами искусственного интеллекта в Azure Databricks. В нем описываются основные понятия и приводятся общие сведения об использовании каталога Unity для управления данными.

Каталог Unity также доступен как реализация с открытым кодом. Ознакомьтесь с блогом с объявлениями и общедоступным репозиторием Unity Catalog на GitHub.

Обзор Unity Catalog

Каталог Unity — это централизованный каталог данных, который обеспечивает управление доступом, аудит, происхождение, мониторинг качества и возможности обнаружения данных в рабочих областях Azure Databricks.

Ключевые функции Unity Catalog:

• Определите один раз, безопасно везде: каталог Unity предлагает одно место для администрирования политик доступа к данным, применяемых во всех рабочих областях в регионе.
• Модель безопасности, совместимая со стандартами: модель безопасности каталога Unity основана на стандарте ANSI SQL и позволяет администраторам предоставлять разрешения в существующем озере данных с помощью знакомого синтаксиса.
• Встроенный аудит и происхождение: Unity Catalog автоматически сохраняет журналы аудита на уровне пользователя, фиксирующие доступ к данным. Каталог Unity также записывает данные о происхождении, которые отслеживают создание и использование ресурсов данных на всех языках.
• Обнаружение данных: каталог Unity позволяет тегировать и документировать ресурсы данных, а также предоставляет интерфейс поиска, помогающий потребителям данных находить данные.
• Системные таблицы: каталог Unity позволяет легко получать доступ к операционным данным учетной записи и запрашивать их, включая журналы аудита, оплачиваемое использование и происхождение.

Метастор

Хранилище метаданных — это контейнер верхнего уровня для метаданных в каталоге Unity. Он регистрирует метаданные о ресурсах ИИ и разрешениях, которые управляют доступом к ним. Чтобы рабочая область могла использовать Unity Catalog, к ней должно быть подключено хранилище метаданных Unity Catalog. У вас должно быть одно хранилище метаданных для каждого региона, в котором есть рабочие области.

В отличие от хранилища метаданных Hive, хранилище метаданных каталога Unity не является границей службы: оно выполняется в мультитенантной среде и представляет логическую границу для разделения данных по регионам для определенной учетной записи Azure Databricks.

Объектная модель каталога Unity

В хранилище метаданных каталога Unity иерархия объектов базы данных трех уровней состоит из каталогов, содержащих схемы, которые, в свою очередь, содержат объекты данных и ИИ, такие как таблицы и модели. Эта иерархия представлена как трехуровневое пространство имен (catalog.schema.table-etc) при ссылке на таблицы, представления, тома, модели и функции.

Уровень один:

• Каталоги используются для упорядочивания ресурсов данных и обычно используются в качестве верхнего уровня в схеме изоляции данных. Каталоги часто зеркально отражают организационные подразделения или области жизненного цикла разработки программного обеспечения. См. статью "Что такое каталоги в Azure Databricks?".
• объекты, которые не являются данными и подлежат защите,, такие как учетные данные хранения и внешние местоположения, используются для управления моделью управления данными в Unity Catalog. Они также живут непосредственно под хранилищем метаданных. Они подробно описаны в защищаемых объектах, которые каталог Unity использует для управления доступом к внешним источникам данных.

Уровень два:

• Схемы (также известные как базы данных) содержат таблицы, представления, тома , модели ИИ и функции. Схемы упорядочивают ресурсы данных и ИИ в логические категории, которые более детализированные, чем каталоги. Обычно схема представляет собой один сценарий использования, проект или командную песочницу. Посмотрите Что такое схемы в Azure Databricks?.

Уровень три:

• Таблицы — это коллекции данных, упорядоченные по строкам и столбцам. Таблицы могут быть либо управляемыми с помощью Unity Catalog, который управляет полным жизненным циклом таблицы, либо внешними, когда Unity Catalog управляет доступом к данным из Azure Databricks, но не обеспечивают доступ к данным в облачном хранилище для других клиентов. См. таблицы Azure Databricks и управляемые и внешние таблицы и тома.
• Представления — это сохраненные запросы к одной или нескольким таблицам. Смотрите Что такое представление?.
• Тома представляют логические объемы данных в облачном хранилище объектов. Тома можно использовать для хранения, упорядочивания и доступа к файлам в любом формате, включая структурированные, полуструктурированные и неструктурированные данные. Обычно они используются для не табличных данных. Тома могут быть либо управляемыми, когда каталог Unity управляет полным жизненным циклом и структурой данных в хранилище, либо внешними, в этом случае каталог Unity управляет доступом к данным из Azure Databricks, но не контролирует доступ к данным в облачном хранилище для других клиентов. См. что такое тома каталога Unity? и управляемые и внешние таблицы и тома.
• Функции — это единицы сохраненной логики, возвращающие скалярное значение или набор строк. См. определяемые пользователем функции (UDF) в каталоге Unity.
• Модели — это модели ИИ, упакованные с помощью MLflow и зарегистрированные в каталоге Unity в качестве функций. См. статью "Управление жизненным циклом модели" в каталоге Unity.

Защищаемые объекты, используемые каталогом Unity для управления доступом к внешним источникам данных

Помимо объектов базы данных и ресурсов ИИ, содержащихся в схемах, каталог Unity также использует следующие защищаемые объекты для управления доступом к облачному хранилищу и другим внешним источникам данных и службам:

• Учетные данные хранилища, которые включают долгосрочные учетные данные для облака, предоставляющие доступ к облачному хранилищу. Общие сведения о учетных данных хранения.
• Внешние расположения, которые ссылаются как на облачный путь, так и на учетные данные хранилища, необходимые для получения доступа. Внешние расположения можно использовать для создания внешних таблиц или для назначения управляемого места хранения для управляемых таблиц и томов. Общие сведения о внешних расположениях, облачном хранилище и изоляции данных и указании управляемого расположения хранилища в каталоге Unity.
• Подключения, представляющие учетные данные, предоставляющие доступ только для чтения к внешней базе данных в системе баз данных, например MySQL с помощью Федерации Lakehouse. См. статью "Что такое Федерация Lakehouse?".
• Учетные данные службы, которые инкапсулируют долгосрочные облачные учетные данные, предоставляющие доступ к внешней службе. См. статью "Создание учетных данных службы".

Защищаемые объекты, используемые каталогом Unity для управления доступом к общим ресурсам

В каталоге Unity используются следующие защищаемые объекты для управления доступом к данным и ресурсам ИИ в пределах хранилища метаданных или организационных границ:

• Чистые комнаты, представляющие управляемую Databricks среду, в которой несколько участников могут совместно работать над проектами без совместного использования базовых данных друг с другом. См. Что такое Чистые комнаты Azure Databricks?.
• Акции, являющиеся объектами Delta Sharing, представляющими коллекцию данных и ресурсов ИИ только для чтения, которыми поставщик данных делится с одним или несколькими получателями.
• Получатели, являющиеся объектами Delta Sharing, представляющими сущность, которая получает общие ресурсы от поставщика данных.
• Поставщики, которые представляют собой объекты Delta Sharing, представляющие сущность, которая предоставляет доступ к данным получателю.

Дополнительные сведения об объектах безопасности Delta Sharing см. в разделе Что такое Delta Sharing?.

Роли администратора

Следующие роли администратора Azure Databricks имеют множество привилегий каталога Unity по умолчанию:

• Администраторы учетных записей: могут создавать хранилища метаданных, связывать рабочие области с хранилищами метаданных, добавлять пользователей и назначать привилегии в хранилищах метаданных.
• Администраторы рабочей области: могут добавлять пользователей в рабочую область и управлять многими объектами, такими как задания и записные книжки. В зависимости от рабочей области администраторы рабочих областей также могут иметь множество привилегий в хранилище метаданных, присоединенном к рабочей области.
• Администраторы хранилища метаданных. Эта необязательная роль необходима, если требуется управлять хранилищем таблиц и томов на уровне хранилища метаданных. Также удобно централизованно управлять данными в нескольких рабочих пространствах в регионе.

Дополнительные сведения см. в разделе "Права администратора" в каталоге Unity.

Предоставление и отмена доступа к защищаемым объектам

Привилегированные пользователи могут предоставлять и отзывать доступ к защищаемым объектам на любом уровне иерархии, включая само хранилище метаданных. Доступ к объекту неявно предоставляет одинаковый доступ ко всем дочерним элементам этого объекта, если доступ не отменяется.

Стандартные команды ANSI SQL можно использовать для предоставления и отмены доступа к объектам в каталоге Unity. Например:

GRANT CREATE TABLE ON SCHEMA mycatalog.myschema TO `finance-team`;

Вы также можете использовать Catalog Explorer, интерфейс командной строки Databricks и интерфейсы REST API для управления правами доступа к объектам.

Администраторы хранилища метаданных, владельцы объекта и пользователи с MANAGE privilege объектом могут предоставлять и отзывать доступ. Сведения об управлении привилегиями в каталоге Unity см. в статье "Управление привилегиями" в каталоге Unity.

Доступ к объектам базы данных по умолчанию в каталоге Unity

Каталог Unity работает по принципу наименьших привилегий, где пользователи имеют минимальный доступ, необходимый для выполнения необходимых задач. При создании рабочей области пользователи, не являющиеся администраторами, имеют доступ только к автоматически подготовленному каталогу рабочих областей, что упрощает процесс создания и доступа к объектам базы данных в каталоге Unity. Ознакомьтесь с привилегиями доступа к каталогу рабочей области.

Работа с объектами базы данных в каталоге Unity

Работа с объектами базы данных в каталоге Unity очень похожа на работу с объектами базы данных, зарегистрированными в хранилище метаданных Hive, за исключением того, что хранилище метаданных Hive не включает каталоги в пространство имен объекта. Вы можете использовать знакомый синтаксис ANSI для создания объектов базы данных, управления объектами базы данных, управления разрешениями и работы с данными в каталоге Unity. Можно также создавать объекты базы данных, управлять объектами базы данных и управлять разрешениями для объектов базы данных с помощью пользовательского интерфейса обозревателя каталогов.

Дополнительные сведения см. в разделе "Объекты базы данных" в Azure Databricks.

Управляемые таблицы и тома в сравнении с внешними таблицами и томами

Таблицы и тома могут быть управляемыми или внешними.

• Управляемые таблицы полностью управляются каталогом Unity, что означает, что каталог Unity управляет как управлением, так и базовыми файлами данных для каждой управляемой таблицы. Управляемые таблицы хранятся в управляемом каталогом Unity расположении в облачном хранилище. Управляемые таблицы всегда используют формат Delta Lake. Управляемые таблицы можно хранить на уровнях метаданных, каталога или схемы.
• Внешние таблицы — это таблицы, доступ к которым из Azure Databricks управляется Unity Catalog, но жизненный цикл данных и макет файлов управляется с помощью вашего поставщика облачных услуг и других платформ данных. Как правило, внешние таблицы используются для регистрации больших объемов существующих данных в Azure Databricks или при необходимости записи доступа к данным с помощью средств за пределами Azure Databricks. Внешние таблицы поддерживаются в нескольких форматах данных. После того, как внешняя таблица зарегистрирована в хранилище метаданных каталога Unity, вы можете управлять доступом Azure Databricks к ней и работать с ней точно так же, как с управляемыми таблицами.
• Управляемые тома полностью управляются каталогом Unity, что означает, что каталог Unity управляет доступом к расположению хранилища тома в учетной записи поставщика облачных служб. При создании управляемого тома он автоматически хранится в расположении управляемого хранилища , назначенном содержащей схеме.
• Внешние тома представляют существующие данные в расположениях хранения, управляемых за пределами Azure Databricks, но зарегистрированные в каталоге Unity для управления доступом и аудита из Azure Databricks. При создании внешнего тома в Azure Databricks необходимо указать его расположение, которое должно находиться в пути, определенном во внешнем расположении каталога Unity.

Databricks рекомендует управляемые таблицы и тома для большинства вариантов использования, так как они позволяют воспользоваться всеми возможностями управления каталогом Unity и оптимизацией производительности. Сведения о типичных вариантах использования для внешних таблиц и томов см. в разделе "Управляемые и внешние таблицы" и "Управляемые " и "Внешние тома".

См. также:

• Таблицы, управляемые каталогом Unity в Azure Databricks для Delta Lake и Apache Iceberg
• Работа с внешними таблицами
• Управляемые и внешние тома.

Облачное хранилище и изоляция данных

Каталог Unity использует облачное хранилище двумя основными способами:

• Управляемое хранилище: расположения по умолчанию для управляемых таблиц и управляемых томов (неструктурированных, не табличных данных), создаваемых в Azure Databricks. Эти расположения управляемого хранилища можно определить на уровне хранилища метаданных, каталога или схемы. Вы создаёте расположения управляемого хранилища у поставщика облачных услуг, но их жизненный цикл полностью контролируется каталогом Unity.
• Места хранения, где сохраняются внешние таблицы и тома. Это таблицы и хранилища, доступ к которым из Azure Databricks управляется с помощью Unity Catalog, но жизненный цикл данных и структура файлов управляется вашим поставщиком облачных услуг и другими платформами данных. Обычно вы используете внешние таблицы или тома для регистрации больших объемов существующих данных в Azure Databricks или если вам также требуется доступ на запись к данным с помощью средств за пределами Azure Databricks.

Управление доступом к облачному хранилищу посредством внешних местоположений

Как управляемые места хранения, так и места хранения, где хранятся внешние таблицы и тома, используют защищаемые объекты внешнего расположения для управления доступом из Azure Databricks. Объекты внешнего расположения ссылались на путь к облачному хранилищу и учетные данные хранилища , необходимые для доступа к нему. Учетные данные хранилища сами являются защищаемыми объектами каталога Unity, которые регистрируют учетные данные, необходимые для доступа к определенному пути хранения. Вместе эти объекты безопасности гарантируют, что доступ к хранилищу контролируется и отслеживается в каталоге Unity.

На схеме ниже показано, как внешние узлы ссылаются на учетные данные хранения и расположения облачного хранилища.

На этой схеме:

• Каждое внешнее расположение ссылается на учетные данные для доступа к хранилищу и расположение облачного хранилища.
• Несколько внешних локаций могут ссылаться на одни и те же учетные данные для хранения. Учетные данные хранилища 1 предоставляют доступ ко всему в пути bucket/tables/*, поэтому как внешнее расположение A, так и внешнее расположение B ссылаются на него.

Дополнительные сведения см. в статье о том, как каталог Unity управляет доступом к облачному хранилищу?.

Иерархия расположения управляемого хранилища

Уровень, на котором определяется управляемое хранилище в каталоге Unity, зависит от предпочтительной модели изоляции данных. Вашей организации может потребоваться хранить определенные типы данных в определенных учетных записях или контейнерах в вашем облачном клиенте.

Каталог Unity предоставляет возможность настраивать управляемые расположения хранилища на уровне хранилища метаданных, каталога или схемы для удовлетворения таких требований.

Например, предположим, что в вашей организации существует политика соответствия компании, требующая, чтобы данные производства, связанные с персоналом, находились в контейнере abfss://mycompany-[email protected]. В каталоге Unity это требование можно достичь, задав расположение на уровне каталога, создав каталог, например hr_prod, и назначив ему расположение abfss://mycompany-[email protected]/unity-catalog. Это означает, что управляемые таблицы или тома, созданные в каталоге hr_prod (например, с помощью CREATE TABLE hr_prod.default.table …) хранят данные в abfss://mycompany-[email protected]/unity-catalog. При необходимости можно указать местоположения на уровне схемы для более детального упорядочивания данных в hr_prod catalog.

Если изоляция хранилища не требуется для некоторых каталогов, можно при необходимости задать расположение хранилища на уровне хранилища метаданных. Это расположение служит расположением по умолчанию для управляемых таблиц и томов в каталогах и схемах, которые не имеют назначенного хранилища. Однако, как правило, Databricks рекомендует назначать отдельные управляемые расположения хранилища для каждого каталога.

Система оценивает иерархию расположений хранения из схемы в каталог в хранилище метаданных.

Например, если таблица myCatalog.mySchema.myTable создана в my-region-metastore, расположение хранилища таблиц определяется в соответствии со следующим правилом:

1. Если для mySchema было указано местоположение, оно будет там сохранено.
2. Если нет, и если указано расположение на myCatalog, оно будет храниться там.
3. Наконец, если местоположение не предоставлено на myCatalog, оно будет сохранено в месте, связанном с my-region-metastore.

Дополнительные сведения см. в разделе "Указание управляемого расположения хранилища" в каталоге Unity.

Изоляция среды с помощью привязки каталога рабочей области

По умолчанию владельцы каталогов (и администраторы хранилища метаданных, если они определены для учетной записи), могут сделать каталог доступным для пользователей в нескольких рабочих областях, подключенных к одному хранилищу метаданных каталога Unity.

Требования к организации и соответствию часто указывают, что вы храните определенные данные, например персональные данные, доступные только в определенных средах. Вы также можете сохранить рабочие данные изолированными от сред разработки или убедиться, что определенные наборы данных и домены никогда не объединяются.

В Azure Databricks рабочая область является основной средой обработки данных, а каталоги являются основным доменом данных. Каталог Unity позволяет администраторам хранилища метаданных, владельцам каталогов и пользователям с разрешением MANAGE назначать, или "привязывать", каталоги к конкретным рабочим областям. Эти привязки с поддержкой среды позволяют гарантировать, что в рабочей области доступны только определенные каталоги, независимо от определенных привилегий объектов данных, предоставленных пользователю. Однако при использовании рабочих областей для изоляции доступа к данным пользователей может потребоваться ограничить доступ каталога к определенным рабочим областям в вашей учетной записи, чтобы обеспечить обработку определенных типов данных только в этих рабочих областях. Вам могут понадобиться отдельные рабочие области для производства и разработки, например, или отдельная рабочая область для обработки персональных данных. Это известно как привязка каталога рабочей области. См. раздел "Ограничить доступ к каталогам" для определенных рабочих областей.

Как мне настроить каталог Unity для моей организации?

Чтобы использовать каталог Unity, рабочая область Azure Databricks должна быть включена для каталога Unity, что означает, что рабочая область присоединена к хранилищу метаданных каталога Unity.

Как рабочая область подключается к хранилищу метаданных? Она зависит от учетной записи и рабочей области:

• Как правило, при создании рабочей области Azure Databricks в регионе в первый раз хранилище метаданных создается автоматически и присоединяется к рабочей области.
• Для некоторых старых учетных записей администратор учетной записи должен создать хранилище метаданных и назначить рабочие области в этом регионе в хранилище метаданных. Указания см. в статье Создание хранилища метаданных в каталоге Unity.
• Если у учетной записи уже есть хранилище метаданных, назначенное для региона, администратор учетной записи может решить, следует ли автоматически присоединить хранилище метаданных ко всем новым рабочим областям в этом регионе. См. раздел "Включить автоматическое назначение хранилища метаданных для новых рабочих областей".

Независимо от того, включена ли ваша рабочая область для каталога Unity автоматически, для начала работы с каталогом Unity также необходимо выполнить следующие действия.

• Создайте каталоги и схемы для хранения таких объектов базы данных, как таблицы и тома.
• Создайте управляемые места хранения для сохранения управляемых таблиц и томов в этих каталогах и схемах.
• Предоставьте пользователю доступ к каталогам, схемам и объектам базы данных.

Рабочие области, которые автоматически активированы для Unity Catalog, подготавливают каталог рабочей области с обширными привилегиями, предоставленными всем пользователям рабочей области. Этот каталог является удобной отправной точкой для пробного каталога Unity.

Подробные инструкции по настройке см. в статье "Начало работы с каталогом Unity".

Обновление существующей рабочей области до каталога Unity

Узнайте, как обновить рабочую область Azure Databricks без Unity Catalog до Unity Catalog, в статье Об обновлении рабочих областей Azure Databricks до каталога Unity.

Требования и ограничения каталога Unity

Для каталога Unity требуются определенные типы форматов вычислений и файлов, описанные ниже. Ниже перечислены некоторые функции Azure Databricks, которые не поддерживаются в каталоге Unity во всех версиях среды выполнения Databricks.

Поддержка регионов

Все регионы поддерживают каталог Unity. Дополнительные сведения см. в разделе регионы Azure Databricks.

Требования к вычислениям

Каталог Unity поддерживается в кластерах под управлением Databricks Runtime 11.3 LTS или более поздней версии. Каталог Unity поддерживается по умолчанию во всех вычислительных версиях хранилища SQL.

Кластеры, работающие на более ранних версиях Databricks Runtime, не поддерживают все функции и возможности, доступные в общем доступе (GA) каталога Unity.

Чтобы обеспечить доступ к данным в Unity Catalog, для кластеров нужно настроить правильный режим доступа. Решение Unity Catalog защищено по умолчанию. Если кластер не настроен в стандартном или выделенном режиме доступа, кластер не может получить доступ к данным в каталоге Unity. См. режимы доступа.

Для получения подробной информации об изменениях функциональности Unity Catalog в каждой версии Databricks Runtime, см. примечания к выпуску.

Поддержка формата файлов

Каталог Unity поддерживает следующие форматы таблиц:

• Управляемые таблицы должны использовать формат таблицы delta.
• Внешние таблицы могут использовать delta, , CSV, JSONavro, parquet, ORCили text.

Ограничения

Каталог Unity имеет следующие ограничения. Некоторые из них относятся к старым версиям Databricks Runtime и режимам доступа к вычислительным ресурсам.

Структурированные рабочие нагрузки потоковой передачи имеют дополнительные ограничения в зависимости от режима выполнения Databricks и режима доступа. Ознакомьтесь со стандартными требованиями к вычислениям и ограничениями и ограничениями для выделенных вычислений.

Databricks выпускает новые функциональные возможности, которые регулярно сжимают этот список.

• Группы, созданные ранее в рабочей области (то есть группы уровня рабочей области), нельзя использовать в инструкциях каталога GRANT Unity. Это позволяет обеспечить согласованное представление групп, которые могут охватывать несколько рабочих областей. Чтобы использовать группы в GRANT инструкциях, создайте группы на уровне учетной записи и обновите любую автоматизацию для управления субъектами или группами (например, SCIM, Okta, коннекторы Entra ID от Microsoft и Terraform), чтобы ссылаться на точки доступа учетных записей вместо точек доступа рабочей области. См. источники группы.

• Рабочие нагрузки в R не поддерживают использование динамических представлений для обеспечения безопасности на уровне строк или на уровне столбцов для вычислений, работающих под управлением Databricks Runtime 15.3 и ниже.

  • Используйте выделенный вычислительный ресурс под управлением Databricks Runtime 15.4 LTS или более поздней версии для рабочих нагрузок в R, которые запрашивают динамические представления. Для таких рабочих нагрузок также требуется рабочая область, которая включена для бессерверных вычислений. Дополнительные сведения см. в Детализированном управлении доступом на выделенных вычислительных ресурсах.

• Неглубокие клоны не поддерживаются в каталоге Unity для вычислительных процессов, использующих Databricks Runtime версии 12.2 LTS и ниже. Для создания управляемых таблиц в Databricks Runtime 13.3 LTS и более поздних версий можно использовать мелкие клоны. Их нельзя использовать для создания внешних таблиц независимо от версии Databricks Runtime. См. раздел "Неглубокое копирование для таблиц каталога Unity".

• Разделение на сегменты не поддерживается для таблиц каталога Unity. При выполнении команд, пытающихся создать сегментированную таблицу в каталоге Unity, возникнет исключение.

• Запись в одну и ту же папку или таблицу Delta Lake из рабочих областей в нескольких регионах может привести к ненадежной работе, если некоторые кластеры обращаются к каталогу Unity, а другие — нет.

• Управление секциями для внешних таблиц с помощью таких команд, как ALTER TABLE ADD PARTITION требует включения ведения журнала метаданных секций. См. обнаружение секций для внешних таблиц.

• При использовании режима перезаписи для таблиц, не находящихся в формате Delta, пользователь должен иметь привилегию CREATE TABLE на родительскую схему и должен быть владельцем существующего объекта ИЛИ иметь привилегию MODIFY для объекта.

• Пользовательские функции Python не поддерживаются в Databricks Runtime 12.2 LTS и ниже. К ним относятся UDAF, UDTF и Pandas на Spark (applyInPandas и mapInPandas). Скалярные определяемые пользователем функции (UDF) Python поддерживаются в Databricks Runtime 13.3 LTS и более поздних версиях.

• Scala UDFs не поддерживаются в среде выполнения Databricks 14.1 и ниже в стандартном режиме доступа. Скалярные определяемые пользователем функции поддерживаются в Databricks Runtime 14.2 и более поздних версий для вычислений с стандартным режимом доступа.

• Стандартные пулы потоков Scala не поддерживаются. Вместо этого используйте специальные пулы потоков в org.apache.spark.util.ThreadUtils, например, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Однако следующие пулы потоков в ThreadUtils не поддерживаются: ThreadUtils.newForkJoinPool и любой пул потоков ScheduledExecutorService.

• Журналы диагностики Azure регистрируют только события каталога Unity на уровне рабочей области. Чтобы просмотреть действия на уровне учетной записи, необходимо использовать таблицу системы журнала аудита. См. ссылку на системную таблицу журнала аудита .

Модели, зарегистрированные в каталоге Unity, имеют дополнительные ограничения. Смотрите ограничения.

Квоты ресурсов

Каталог Unity применяет квоты на ресурсы для всех защищаемых объектов. Эти квоты перечислены в ограничениях ресурсов. Если вы ожидаете превышение этих ограничений ресурсов, обратитесь к группе учетных записей Azure Databricks.

Вы можете отслеживать использование своей квоты с помощью API квот ресурсов Unity Catalog. См. статью "Мониторинг использования квот ресурсов каталога Unity".

Дополнительные ресурсы

• Управление данными с помощью Azure Databricks
• Обновите рабочие области Azure Databricks с использованием Unity Catalog
• Рекомендации по каталогу Unity