Поделиться через

Контроль соблюдения схемы

Azure Databricks проверяет качество данных, применяя схему при записи.

Заметка

В этой статье описывается поведение по умолчанию для таблиц в Azure Databricks, поддерживаемых Delta Lake. Применение схемы не применяется к таблицам, поддерживаемым внешними данными.

Принудительное применение схемы для операций добавления

Azure Databricks применяет следующие правила при вставке данных в таблицу:

  • Все вставленные столбцы должны существовать в целевой таблице.
  • Все типы данных столбцов должны соответствовать типам данных столбца в целевой таблице.

Заметка

Azure Databricks пытается безопасно привести типы данных столбцов, чтобы они соответствовали целевой таблице.

Проверка схемы во время MERGE операций

Azure Databricks применяет следующие правила при вставке или обновлении данных в рамках операции MERGE:

  • Если тип данных в исходной инструкции не соответствует целевому столбцу, MERGE пытается безопасно привести типы данных столбцов для сопоставления целевой таблицы.
  • Столбцы, предназначенные для действия UPDATE или INSERT, должны существовать в целевой таблице.
  • При использовании синтаксиса INSERT * или UPDATE SET *:
    • Столбцы в исходном наборе данных, не присутствующих в целевой таблице, игнорируются.
    • Исходный набор данных должен содержать все столбцы, присутствующих в целевой таблице.

Изменение схемы таблицы

Схему таблицы можно обновить с помощью явных инструкций ALTER TABLE или автоматической эволюции схемы. См. Обновление схемы таблицы Delta Lake.

Эволюция схемы имеет специальную семантику для операций MERGE. См. автоматическую эволюцию схемы для слияния Delta Lake.