Управляемые и внешние ресурсы в каталоге Unity

Каждый защищаемый объект, зарегистрированный в каталоге Unity, централизованно управляется. Это означает, что каталог Unity управляет метаданными объекта, позволяя ему управлять всеми аспектами управления, включая доступ, аудит и происхождение.

Однако для ресурсов данных, таких как таблицы и тома, каталог Unity также может управлять расположением хранилища и жизненным циклом базовых файлов данных в облачной учетной записи, в том числе способом их упорядочения, оптимизации и удаления. Это различие заключается в том, что отделяет управление от внешних ресурсов данных.

• Управляемые ресурсы: каталог Unity управляет как управлением (контролем доступа, аудитом, происхождением), так и базовым жизненным циклом хранилища файлов (оптимизация файлов, их упорядочение и удаление).
• Внешние ресурсы: управление только каталогом Unity. Базовый жизненный цикл хранилища файлов управляется вами или внешней системой.

При регистрации управляемого ресурса в каталоге Unity вы сохраняете полное владение данными. Файлы данных всегда остаются в облачной учетной записи. Каталог Unity определяет, где они хранятся в вашей учетной записи, но не передает их в Azure Databricks и не владеет ими.

Различие между управляемыми и внешними применяется только к таблицам и томам. Другие защищаемые объекты каталога Unity, такие как представления, модели и функции, не имеют управляемых и внешних вариантов.

Сводка отличий

В следующей таблице перечислены различия между управляемыми и внешними ресурсами в каталоге Unity.

Использование слова "управлять" в разных частях каталога Unity

Слово manage имеет несколько вариантов использования в каталоге Unity. В этом разделе приведены сведения о значении управления в разных контекстах.

Когда люди говорят, что объект управляется каталогом Unity, они обычно означают, что каталог Unity управляет доступом к нему. Это относится ко всем зарегистрированным объектам каталога Unity, включая внешние таблицы и тома.

Слово , управляемое в управляемой таблице или управляемом томе, имеет более конкретное значение: каталог Unity определяет, где в облачной учетной записи хранятся базовые файлы данных, а также управляет жизненным циклом файла (оптимизация, организация и удаление). Это называется расположением управляемого хранилища. Ваши данные всегда остаются в облачной учетной записи. Azure Databricks не владеет или хранит данные.

MANAGE Слово также отображается как привилегия, которую можно назначить объектам каталога Unity. Как правило, MANAGE пользователь может назначать или отменять привилегии, передавать права владения и удалять объект, не являясь владельцем. См. раздел MANAGE.

В следующей таблице приведены общие сведения об использовании управления:

Управляемые и внешние таблицы

Управляемая таблица каталога Unity — это таблица, в которой каталог Unity определяет расположение хранилища для базовых файлов данных. Каталог Unity хранит управляемые таблицы в управляемом расположении хранилища, определенном в содержащей схеме, каталоге или хранилище метаданных. При удалении управляемой таблицы каталог Unity удаляет базовые файлы данных. Управляемые таблицы используют формат Delta или Apache Iceberg.

Внешняя таблица — это таблица, в которой указывается расположение хранилища для базовых файлов данных. При удалении внешней таблицы каталог Unity удаляет метаданные таблицы из хранилища метаданных, но базовые файлы данных остаются на месте. Внешние таблицы поддерживают несколько форматов, включая Delta, CSV, JSON, Avro, Parquet и ORC.

Дополнительные сведения о типах таблиц см. в разделе "Типы таблиц каталога Databricks Unity".

Управляемые и внешние таблицы поддерживают чтение, запись и создание доступа из внешних обработчиков с помощью открытых API, включая REST API Unity и каталог REST Iceberg (IRC). Это означает, что управляемые таблицы не вызывают блокировку поставщика. Любой обработчик, поддерживающий эти API, может получить доступ к управляемым таблицам. См. как получить доступ к данным Databricks с помощью внешних систем.

Управляемые и внешние тома

Управляемый том каталога Unity — это том, в котором каталог Unity определяет расположение хранилища. Каталог Unity автоматически сохраняет управляемые тома в управляемом расположении хранилища содержащего схему в облачной учетной записи. Как и в управляемых таблицах, вы сохраняете полное владение базовыми данными. При удалении управляемого тома каталог Unity удаляет базовые файлы данных.

Внешний том — это том, в котором указывается расположение хранилища. Расположение должно представлять собой путь, включенный во внешнее расположение каталога Unity. При удалении внешнего тома каталог Unity удаляет определение тома, но базовые файлы данных остаются на месте.

Дополнительные сведения о томах см. в разделе "Что такое тома каталога Unity?".