Конвертировать в Delta Lake

Команда CONVERT TO DELTA SQL выполняет однократное преобразование таблиц Parquet и Apache Iceberg в таблицы Delta Lake. Для инкрементного преобразования таблиц Parquet или Iceberg в Delta Lake см. инкрементное клонирование таблиц Parquet и Apache Iceberg в Delta Lake.

Каталог Unity поддерживает команду SQL CONVERT TO DELTA для таблиц Parquet и Iceberg, хранящихся во внешних расположениях, управляемых каталогом Unity.

Вы можете настроить существующие файлы данных Parquet в качестве внешних таблиц в каталоге Unity, а затем преобразовать их в формат Delta Lake, чтобы воспользоваться всеми возможностями системы Databricks Lakehouse.

См. техническую документацию в CONVERT TO DELTA.

Преобразование директории файлов формата Parquet или Iceberg, находящейся во внешнем хранилище, в формат Delta Lake

Примечание.

  • Преобразование таблиц Iceberg поддерживается в Databricks Runtime 10.4 LTS и выше.
  • Преобразование таблиц хранилища метаданных Iceberg не поддерживается.
  • Преобразование таблиц Iceberg, подверженных эволюции секций, не поддерживается.
  • Ниже перечислены ограничения на преобразование таблиц Айсберга с разделами, определенными по усеченным столбцам.
    • В Databricks Runtime 12.2 LTS и ниже поддерживается только усеченный тип столбца string.
    • В Databricks Runtime 13.3 LTS и более поздних версиях можно работать с усеченными столбцами типов string, longили int.
    • Azure Databricks не поддерживает работу с усеченными столбцами типа decimal.

Каталог файлов данных Parquet можно преобразовать в таблицу Delta Lake, если у вас есть доступ на запись в месте хранения. Сведения о настройке доступа с помощью каталога Unity см. в статье "Подключение к облачному хранилищу объектов" с помощью каталога Unity.

Примечание.

Для каталога Unity требуется Azure Data Lake Storage.

CONVERT TO DELTA parquet.`abfss://container@storageAccount.dfs.core.windows.net/parquet-data`;

CONVERT TO DELTA iceberg.`abfss://container@storageAccount.dfs.core.windows.net/iceberg-data`;

Чтобы загрузить преобразованные таблицы как внешние таблицы в Unity Catalog, вам потребуется разрешение CREATE EXTERNAL TABLE на внешнее расположение.

Примечание.

Для Databricks Runtime 11.3 LTS и более поздних версий CONVERT TO DELTA автоматически определяет сведения о секционировании для таблиц, зарегистрированных в хранилище метаданных Hive. Необходимо указать сведения о секционировании для внешних таблиц каталога Unity.

Преобразование управляемых и внешних таблиц в Delta Lake с использованием Unity Catalog

CONVERT TO DELTA синтаксис можно использовать только для создания внешних таблиц каталога Unity. Используйте инструкцию CTAS для преобразования управляемой метастором Hive устаревшей таблицы Parquet непосредственно в управляемую таблицу каталога Unity Delta Lake, см. Обновление таблицы Hive до управляемой таблицы каталога Unity, используя CREATE TABLE AS SELECT.

Чтобы обновить внешнюю таблицу Parquet до внешней таблицы каталога Unity, см. статью Об обновлении схемы или таблиц из хранилища метаданных Hive до внешних таблиц каталога Unity с помощью мастера обновления.

После регистрации внешней таблицы Parquet в каталоге Unity его можно преобразовать во внешнюю таблицу Delta Lake. Необходимо указать сведения о секционировании, если таблица Parquet секционирована.

CONVERT TO DELTA catalog_name.database_name.table_name;

CONVERT TO DELTA catalog_name.database_name.table_name PARTITIONED BY (date_updated DATE);
  • Last updated on