Переименовать и удалить столбцы с помощью сопоставления столбцов в Delta Lake

Azure Databricks поддерживает сопоставление столбцов для таблиц Delta Lake, что позволяет изменять только метаданные, чтобы пометить столбцы как удаленные или переименованные без перезаписи файлов данных. Кроме того, пользователи могут называть столбцы таблицы Delta с помощью символов, которые не разрешены Parquet, например пробелы, чтобы пользователи могли напрямую получать данные CSV или JSON в Delta без необходимости переименовать столбцы из-за предыдущих ограничений символов.

Включение сопоставления столбцов

Чтобы включить сопоставление столбцов, используйте следующую команду:

  ALTER TABLE <table-name> SET TBLPROPERTIES (
    'delta.columnMapping.mode' = 'name'
  )

Для сопоставления столбцов требуются следующие протоколы Delta:

• Программа для чтения версии 2 или выше.
• Версия программы Writer 5 или более поздняя.

См. сведения о совместимости функций Delta Lake и протоколах.

Отключить сопоставление столбцов

В Databricks Runtime 15.3 и более поздних версиях можно использовать команду DROP FEATURE для удаления сопоставления столбцов из таблицы и понижения уровня протокола таблицы.

См. Управление функцией удаления таблицы Delta Lake и понижение протокола таблицы.

Переименование столбца

Если сопоставление столбцов включено для таблицы Delta, можно переименовать столбец:

ALTER TABLE <table-name> RENAME COLUMN old_col_name TO new_col_name

Дополнительные примеры см. в разделе Update Delta Lake table schema.

Отбросить столбцы

Если сопоставление столбцов включено для таблицы Delta, можно удалить один или несколько столбцов:

ALTER TABLE table_name DROP COLUMN col_name
ALTER TABLE table_name DROP COLUMNS (col_name_1, col_name_2, ...)

Дополнительные сведения см. в разделе Update Delta Lake table schema.

Поддерживаемые символы в именах столбцов

Если сопоставление столбцов включено для таблицы Delta, можно включить пробелы и любые из этих символов в имена столбцов таблицы: ,;{}()\n\t=

потоковая передача с сопоставлением столбцов и изменением схемы

Вы можете указать расположение для отслеживания схемы, чтобы активировать потоковую передачу из таблиц Delta с активированным сопоставлением столбцов. Это преодолевает проблему, при которой изменения схемы, не являющиеся аддитивными, могут привести к сломанным потокам.

Для каждого потока чтения для источника данных должен быть указан свой schemaTrackingLocation. Указанный schemaTrackingLocation должен содержаться в каталоге, указанном для checkpointLocation целевой таблицы для потоковой записи. Для рабочих нагрузок потоковой передачи, которые объединяют данные из нескольких исходных таблиц Delta, необходимо указать уникальные каталоги в каждой исходной checkpointLocation таблице.

Параметр schemaTrackingLocation используется для указания пути для отслеживания схем, как показано в следующем примере кода:

checkpoint_path = "/path/to/checkpointLocation"

(spark.readStream
  .option("schemaTrackingLocation", checkpoint_path)
  .table("delta_source_table")
  .writeStream
  .option("checkpointLocation", checkpoint_path)
  .toTable("output_table")
)