Требования и ограничения каталога Unity

На этой странице описываются требования к вычислениям, поддерживаемые форматы файлов, ограничения именования и известные ограничения для каталога Unity.

Поддержка регионов

Все регионы поддерживают каталог Unity. Дополнительные сведения см. в разделе регионы Azure Databricks.

Требования к вычислениям

Каталог Unity поддерживается в кластерах под управлением Databricks Runtime 11.3 LTS или более поздней версии. Каталог Unity поддерживается по умолчанию во всех вычислительных версиях хранилища SQL.

Кластеры, работающие на более ранних версиях Databricks Runtime, не поддерживают все функции и функциональные возможности Unity Catalog в его GA версии.

Чтобы обеспечить доступ к данным в Unity Catalog, для кластеров нужно настроить правильный режим доступа. Решение Unity Catalog защищено по умолчанию. Если кластер не настроен в стандартном или выделенном режиме доступа, кластер не может получить доступ к данным в каталоге Unity. См. режимы доступа.

Для получения подробной информации об изменениях функциональности Unity Catalog в каждой версии Databricks Runtime, см. примечания к выпуску.

Поддержка формата файлов

Каталог Unity поддерживает следующие форматы таблиц:

Требования к именованию защищаемых объектов

Следующие ограничения применяются ко всем именам объектов в каталоге Unity:

  • Имена объектов не могут превышать 255 символов.
  • Не допускаются следующие специальные символы:
    • Период (.)
    • Пробел ( )
    • Прямая косая черта (/)
    • Все символы управления ASCII (00-1F шестнадцатеричное число)
    • Символ DELETE (шестнадцатеричное значение 7F)
  • Каталог Unity сохраняет все имена объектов в нижнем регистре.
  • При ссылке на имена UC в SQL необходимо использовать обратные кавычки для экранирования имён, содержащих специальные символы, такие как дефисы (-).

Замечание

Имена столбцов могут использовать специальные символы, но в случае использования специальных символов имя должно заключаться в обратные кавычки во всех SQL-запросах. Каталог Unity сохраняет регистр имен столбцов, но запросы к таблицам Каталога Unity нечувствительны к регистру.

Ограничения

Каталог Unity имеет следующие ограничения. Некоторые из них относятся к старым версиям Databricks Runtime и режимам доступа к вычислительным ресурсам.

Структурированные рабочие нагрузки потоковой передачи имеют дополнительные ограничения в зависимости от режима выполнения Databricks и режима доступа. Ознакомьтесь со стандартными требованиями к вычислениям и ограничениями и ограничениями для выделенных вычислений.

Databricks выпускает новые функциональные возможности, которые регулярно сжимают этот список.

  • Группы, созданные ранее в рабочей области (то есть группы уровня рабочей области), нельзя использовать в инструкциях каталога GRANT Unity. Это позволяет обеспечить согласованное представление групп, которые могут охватывать несколько рабочих областей. Чтобы использовать группы в GRANT инструкциях, создайте группы на уровне учетной записи и обновите любую автоматизацию для управления субъектами или группами (например, SCIM, Okta, коннекторы Entra ID от Microsoft и Terraform), чтобы ссылаться на точки доступа учетных записей вместо точек доступа рабочей области. См. источники группы.
  • Рабочие нагрузки в R не поддерживают использование динамических представлений для обеспечения безопасности на уровне строк или на уровне столбцов для вычислений, работающих под управлением Databricks Runtime 15.3 и ниже.
    • Используйте выделенный вычислительный ресурс под управлением Databricks Runtime 15.4 LTS или более поздней версии для рабочих нагрузок в R, которые запрашивают динамические представления. Для таких рабочих нагрузок также требуется рабочая область, которая включена для бессерверных вычислений. Дополнительные сведения см. в Детализированном управлении доступом на выделенных вычислительных ресурсах.
  • Управляемая таблица может быть поверхностно клонирована в другую управляемую таблицу на Databricks Runtime 13.3 LTS и выше. Внешняя таблица может быть неглубоко клонирована в другую внешнюю таблицу начиная с Databricks Runtime 14.2 и выше. Управляемая таблица не может быть клонирована в внешнюю таблицу. Кроме того, внешняя таблица не может быть клонирована в управляемую таблицу. Дополнительные сведения см. в разделе "Мелкий клон" для таблиц каталога Unity.
  • Разделение на сегменты не поддерживается для таблиц каталога Unity. При выполнении команд, пытающихся создать сегментированную таблицу в каталоге Unity, возникнет исключение.
  • Запись в одну и ту же папку или таблицу Delta Lake из рабочих областей в нескольких регионах может привести к ненадежной работе, если одни кластеры используют Unity Catalog, а другие — нет.
  • Управление секциями для внешних таблиц с помощью таких команд, как ALTER TABLE ADD PARTITION требует включения ведения журнала метаданных секций. См. обнаружение секций для внешних таблиц.
  • При использовании режима перезаписи для таблиц, не находящихся в формате Delta, пользователь должен иметь привилегию CREATE TABLE на родительскую схему и должен быть владельцем существующего объекта ИЛИ иметь привилегию MODIFY для объекта.
  • Пользовательские функции Python не поддерживаются в Databricks Runtime 12.2 LTS и ниже. К ним относятся UDAF, UDTF и Pandas на Spark (applyInPandas и mapInPandas). Скалярные определяемые пользователем функции (UDF) Python поддерживаются в Databricks Runtime 13.3 LTS и более поздних версиях.
  • Scala UDFs не поддерживаются в среде выполнения Databricks 14.1 и ниже в стандартном режиме доступа. Скалярные определяемые пользователем функции поддерживаются в Databricks Runtime 14.2 и более поздних версий для вычислений с стандартным режимом доступа.
  • Стандартные пулы потоков Scala не поддерживаются. Вместо этого используйте специальные пулы потоков в org.apache.spark.util.ThreadUtils, например, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Однако следующие пулы потоков в ThreadUtils не поддерживаются: ThreadUtils.newForkJoinPool и любой пул потоков ScheduledExecutorService.
  • Журналы диагностики Azure регистрируют только события каталога Unity на уровне рабочей области. Чтобы просмотреть действия на уровне учетной записи, необходимо использовать таблицу системы журнала аудита. См. ссылку на системную таблицу журнала аудита .

Модели, зарегистрированные в каталоге Unity, имеют дополнительные ограничения. См. Ограничения.

Квоты ресурсов

Каталог Unity применяет квоты на ресурсы для всех защищаемых объектов. Эти квоты перечислены в ограничениях ресурсов. Если вы ожидаете, что превысите эти ограничения ресурсов, обратитесь в команду вашей учетной записи Azure Databricks.

Вы можете отслеживать использование квоты с помощью API ресурсных квот Unity Catalog. См. статью "Мониторинг использования квот ресурсов каталога Unity".

  • Last updated on