Управление размером файла данных

Существуют параметры ручной или автоматической настройки целевого размера файла для операций записи и операций OPTIMIZE. Azure Databricks автоматически настраивает многие из этих параметров и включает функции, которые автоматически повышают производительность таблицы, стремясь к правильным файлам размера.

Для управляемых таблиц каталога Unity Databricks настраивает большинство этих конфигураций автоматически, если вы используете хранилище SQL или Databricks Runtime 11.3 LTS или более поздней версии.

Если вы обновляете рабочую нагрузку с Databricks Runtime 10.4 LTS или более ранней версии, см. Обновление до фонового автоматического сжатия.

Когда следует запустить OPTIMIZE

Автоматическое сжатие и оптимизированные записи уменьшают проблемы, связанные с небольшими файлами, но не являются полной заменой для OPTIMIZE. Особенно для таблиц размером более 1 ТБ, Databricks рекомендует запускать OPTIMIZE в расписании для дальнейшего консолидации файлов. Databricks рекомендует кластеризацию жидкости для повышения уровня пропуска данных. Если кластеризация жидкости включена, OPTIMIZE автоматически реорганизует данные ключами кластеризации. См. раздел "Использование кластеризации жидкости" для таблиц.

Для управляемых таблиц каталога Unity прогнозная оптимизация автоматически выполняется OPTIMIZE в таблицах с включенной прогнозной оптимизацией.

Что такое автоматическая оптимизация в Azure Databricks?

Термин автоматическая оптимизация иногда используется для описания функциональности, контролируемой параметрами autoOptimize.autoCompact и autoOptimize.optimizeWrite. Этот термин был заменён в пользу отдельного описания настроек. См. статью "Автоматическое сжатие и оптимизированная запись".

Автоматическое сжатие

Автоматическое сжатие объединяет небольшие файлы в разделах таблиц, чтобы уменьшить проблемы с небольшими файлами. Он выполняется синхронно в кластере, который выполняет запись, после успешной записи и только сжимает файлы, которые ранее не были сжаты.

Автоматическая сжатие и прогнозная оптимизация — это независимые функции, которые можно использовать отдельно или совместно. Автоматическое сжатие выполняется на кластере во время записи, в то время как предсказательная оптимизация асинхронно осуществляет техническое обслуживание с помощью бессерверных вычислений.

Используйте следующие параметры для настройки автоматического сжатия:

Эти параметры принимают следующие опции:

Оптимизированные записи

Оптимизированные операции записи уменьшают размер файла, поскольку данные записываются и улучшают последующие операции чтения в таблице.

Оптимизированные записи наиболее эффективны для секционированных таблиц, так как они снижают количество небольших файлов, записанных в каждую секцию. Запись меньше больших файлов эффективнее, чем запись нескольких небольших файлов, но вы по-прежнему можете увидеть увеличение задержки записи, так как данные перемешиваются перед записью.

На следующем рисунке показано, как работает оптимизированная запись:

Оптимизированные записи включены по умолчанию для следующих операций в Databricks Runtime 9.1 LTS и выше:

• MERGE
• UPDATE с вложенными запросами
• DELETE с вложенными запросами

Оптимизированные операции записи также включены для CTAS инструкций и INSERT операций при использовании хранилищ SQL. В Databricks Runtime 13.3 LTS и более поздних версиях все таблицы, зарегистрированные в Unity Catalog, имеют включенную оптимизацию записи для CTAS инструкций и INSERT операций для секционированных таблиц.

Оптимизированные записи можно включить на уровне таблицы или сеанса с помощью следующих параметров:

• Свойство таблицы: autoOptimize.optimizeWrite
• Параметр SparkSession: spark.databricks.delta.optimizeWrite.enabled (Delta) или spark.databricks.iceberg.optimizeWrite.enabled (Iceberg)

Эти параметры принимают следующие опции:

Установка целевого размера файла

Если вы хотите настроить размер файлов в таблице, задайте для свойстваtargetFileSize таблицы нужный размер. При установке все операции оптимизации макета данных пытаются создать файлы указанного размера, включая оптимизацию, кластеризацию жидкости, автоматическое сжатие и оптимизированную запись.

Для существующих таблиц можно задать и отменить свойства с помощью команды SQL ALTER TABLESET свойства TBL. Эти свойства также можно настроить автоматически при создании таблиц с помощью конфигураций сеанса Spark. Дополнительные сведения см. в справочнике по свойствам таблицы .

Автоматически наладить размер файла на основе размера таблицы

Чтобы свести к минимуму необходимость ручной настройки, Azure Databricks автоматически настраивает размер файлов таблиц на основе размера таблицы. Azure Databricks использует меньшие размеры файлов для небольших таблиц и больших размеров файлов для больших таблиц, чтобы количество файлов в таблице не росло слишком большим. Azure Databricks не выполняет автоматическую настройку таблиц, настроенных с определенным целевым размером.

Размер целевого файла основан на текущем размере таблицы. Для таблиц меньше 2,56 ТБ размер автоматически настраиваемого целевого файла составляет 256 МБ. Для таблиц с размером от 2,56 ТБ до 10 ТБ целевой размер будет линейно увеличиваться с 256 МБ до 1 ГБ. Для таблиц размером более 10 ТБ целевой размер файла составляет 1 ГБ.

При добавочном написании таблицы целевые размеры и количество файлов будут близки к следующим числам на основе размера таблицы. Количество файлов в этой таблице — только пример. Фактические результаты будут отличаться в зависимости от множества факторов.

Ограничение строк, записанных в файле данных

Иногда таблицы с узкими данными могут столкнуться с ошибкой, когда количество строк в заданном файле данных превышает ограничения поддержки формата Parquet. Чтобы избежать этой ошибки, можно использовать конфигурацию сеанса SQL, чтобы указать максимальное количество записей spark.sql.files.maxRecordsPerFile для записи в один файл таблицы. Указание значения нуля или отрицательного значения не представляет предела.

В Databricks Runtime 11.3 LTS и более поздних версиях можно использовать также параметр maxRecordsPerFile DataFrameWriter при использовании API DataFrame для записи в таблицу. Если указан параметр maxRecordsPerFile, значение конфигурации spark.sql.files.maxRecordsPerFile для сеанса SQL игнорируется.

Обновление до автоматического сжатия фона

Фоновое автоматическое сжатие доступно для управляемых таблиц Unity Catalog в Databricks Runtime 11.3 LTS и более поздних версиях. Фоновое автоматическое сжатие не требует прогнозной оптимизации. При миграции устаревшей рабочей нагрузки или таблицы сделайте следующее:

1. Удалите конфигурацию spark.databricks.delta.autoCompact.enabled Spark (Delta) или spark.databricks.iceberg.autoCompact.enabled (Iceberg) из параметров конфигурации кластера или блокнота.
2. Для каждой таблицы выполните команду ALTER TABLE <table_name> UNSET TBLPROPERTIES (delta.autoOptimize.autoCompact) (Delta) или ALTER TABLE <table_name> UNSET TBLPROPERTIES (iceberg.autoOptimize.autoCompact) (Iceberg), чтобы удалить все устаревшие параметры автоматического сжатия.

После удаления этих устаревших конфигураций вы увидите, что автоматическое фоновое сжатие будет включаться автоматически для всех таблиц, управляемых каталогом Unity.