Поделиться через

Совместимость формата таблицы Delta Lake

В Microsoft Fabric формат таблицы Delta Lake является стандартным для аналитики. Delta Lake — это слой хранения с открытым исходным кодом, который обеспечивает транзакции ACID (атомарность, согласованность, изоляция, устойчивость) к большим данным и рабочим нагрузкам аналитики.

Все интерфейсы Fabric изначально создают и используют таблицы Delta Lake, предоставляя унифицированный интерфейс продукта. Таблицы Delta Lake, созданные одним вычислительным ядром, например хранилищем данных Fabric или Synapse Spark, могут использоваться любым другим ядром, например Power BI. При приеме данных в Fabric, Fabric сохраняет их в виде таблиц Delta по умолчанию. Вы можете легко интегрировать внешние данные, содержащие таблицы Delta Lake, с помощью сочетаний клавиш OneLake.

Функции Delta Lake и опыт работы с Fabric

Для обеспечения взаимодействия все возможности Fabric соответствуют возможностям Delta Lake и Fabric. Некоторые интерфейсы могут записывать только в таблицы Delta Lake, а другие могут читать из него.

  • Сценаристы: хранилища данных, потоки событий и экспортированные семантические модели Power BI в OneLake
  • Читатели: конечная точка аналитики SQL и семантические модели Direct Lake для Power BI
  • Авторы и читатели: среда выполнения Fabric Spark, потоки данных, конвейеры данных и базы данных языка запросов Kusto (KQL)

В следующей матрице показаны ключевые функции Delta Lake и его доступность для каждого интерфейса Fabric.

Возможности Fabric Сопоставления столбцов Векторы удаления Написание в V-порядке Оптимизация таблиц и обслуживание Перегородки Кластеризация Жидкости TIMESTAMP_NTZ Версия Delta для чтения и записи и функции таблицы по умолчанию
Экспорт хранилища данных Delta Lake Имя: Да
Идентификатор: Нет		 Да Да Да Чтение: N/A (неприменимо)
Писать: Нет		 Нет Нет Читатель: 3
Писатель: 7
Векторы удаления,
Сопоставления столбцов (название)
Конечная точка аналитики SQL Имя: Да
Идентификатор: Нет		 Да N/A (неприменимо) N/A (неприменимо) Прочитано: Да
Запишите: N/A (неприменимо)		 Да Нет N/A (неприменимо)
Обозреватель Lakehouse и предварительная версия Имя: Да
Идентификатор: Нет		 Да N/A (неприменимо) Да Прочитать: Да
Напишите: N/A (неприменимо)		 Да Да N/A (неприменимо)
Среда выполнения Fabric Spark 1.3 Имя: Да
Идентификатор: Да		 Да Да Да Прочитано: Да
Напишите: Да		 Да Да Читатель: 1
Писатель: 2
Среда выполнения Spark Fabric 1.2 Имя: Да
Идентификатор: Да		 Да Да Да Прочитано: Да
Напишите: Да		 Да, только для чтения Да Читатель: 1
Писатель: 2
Среда выполнения Spark Fabric 1.1 Имя: Да
Идентификатор: Да		 Нет Да Да Прочитано: Да
Писать: Да		 Да, только для чтения Нет Читатель: 1
Писатель: 2
Потоки данных 2-го поколения Имя: Да
Идентификатор: Нет		 Да Да Нет Прочитано: Да
Напишите: Да		 Да, только для чтения Нет Читатель: 1
Писатель: 2
Конвейеры данных Имя: Нет
Идентификатор: Нет		 Нет Да Нет Чтение: Да
Запись: Да, перезапись только		 Да, только для чтения Нет Читатель: 1
Писатель: 2
Модели семантики прямого подключения к озеру данных Power BI Имя: Да
Идентификатор: Нет		 Да N/A (неприменимо) N/A (неприменимо) Прочитано: Да
Напишите: N/A (неприменимо)		 Да Нет N/A (неприменимо)
Экспорт семантических моделей Power BI в OneLake Имя: Да
Идентификатор: Нет		 N/A (неприменимо) Да Нет Чтение: N/A (неприменимо)
Писать: Нет		 Нет Нет Читатель: 2
Писатель: 5
Сопоставления столбцов (имя)
Базы данных KQL Имя: Да
Идентификатор: Нет		 Да Нет Нет* Прочитано: Да
Напишите Да		 Нет Нет Читатель: 1
Писатель: 1
Потоки событий Имя: Нет
Идентификатор: Нет		 Нет Нет Нет Чтение: N/A (неприменимо)
Напишите: Да		 Нет Нет Читатель: 1
Писатель: 2

* базах данных KQL предоставляют определенные возможности обслуживания таблиц, такие как хранения. Данные удаляются в конце периода хранения из OneLake. Дополнительные сведения см. в разделе "Одна логическая копия".

Заметка

  • Fabric не записывает сопоставления столбцов по умолчанию, за исключением указанных. Интерфейс Fabric по умолчанию создает таблицы, совместимые со службой. Таблицы Delta Lake, созданные сторонними службами, могут иметь несовместимые особенности.
  • Некоторые интерфейсы Fabric не предлагают возможности оптимизации таблиц и обслуживания, такие как bin-compaction, V-order, удаление векторного слияния (PURGE) и очистка старых нерелентованных файлов (VACUUM). Чтобы поддерживать таблицы Delta Lake в оптимальном состоянии для аналитики, следуйте методам, описанным в разделе "Использование функции обслуживания таблиц для управления Delta-таблицами в Fabric" при загрузке таблиц с использованием этих возможностей.

Текущие ограничения

В настоящее время Fabric не поддерживает следующие функции Delta Lake:

  • Контрольные точки версии 2 недоступны во всех интерфейсах. Только записные книжки Spark и задания Spark могут читать и записывать в таблицы с помощью контрольных точек версии 2. Lakehouse и SQL Analytics не правильно перечисляют таблицы, содержащие файлы контрольных точек версии 2 в папке __delta_log .
  • Delta Lake 3.x Uniform. Эта функция поддерживается только в средах Spark-вычислений для инженерии данных (ноутбуки, Spark-задачи).
  • Запись в столбцы идентификаторов (собственная функция Databricks)
  • Delta Live Tables (собственная функция Databricks)
  • Функции Delta Lake 4.x: расширение типов, сопоставления, вариантные типы, координированные фиксации.

Специальные символы в именах таблиц

Microsoft Fabric поддерживает специальные символы в составе имен таблиц. Эта функция позволяет использовать символы юникода для создания имен таблиц в интерфейсах Microsoft Fabric.

Следующие специальные символы зарезервированы или несовместимы по крайней мере с одной из технологий Microsoft Fabric и не должны использоваться как часть имени таблицы: " (двойные кавычки), ' (одинарные кавычки), #, %, +, :, ?, ' (backtick).

Связанное содержимое