Совместимость формата таблицы Delta Lake

В Microsoft Fabric формат таблицы Delta Lake является стандартным для аналитики. Delta Lake — это слой хранения с открытым исходным кодом, который обеспечивает транзакции ACID (атомарность, согласованность, изоляция, устойчивость) к большим данным и рабочим нагрузкам аналитики.

Все интерфейсы Fabric изначально создают и используют таблицы Delta Lake, предоставляя унифицированный интерфейс продукта. Таблицы Delta Lake, созданные одним вычислительным ядром, например хранилищем данных Fabric или Synapse Spark, могут использоваться любым другим ядром, например Power BI. При приеме данных в Fabric данные хранятся в виде разностных таблиц по умолчанию. Вы можете легко интегрировать внешние данные, содержащие таблицы Delta Lake, с помощью сочетаний клавиш OneLake.

Функции Delta Lake и опыт работы с Fabric

Для обеспечения взаимодействия все возможности Fabric соответствуют возможностям Delta Lake и Fabric. Некоторые интерфейсы могут записывать только в таблицы Delta Lake, а другие могут читать из него.

• Писатели: хранилища данных, потоки событий и экспортированные семантические модели Power BI в OneLake
• Читатели: конечная точка аналитики SQL и семантические модели Power BI для прямого доступа к озеру данных
• Авторы и читатели: среда выполнения Fabric Spark, потоки данных, конвейеры и базы данных языка запросов Kusto (KQL)

В следующей матрице показаны ключевые функции Delta Lake и их доступность для каждого интерфейса Fabric.

¹ базы данных KQL предоставляют определенные возможности обслуживания таблиц, такие как хранение. Данные удаляются в конце периода хранения из OneLake. Дополнительные сведения см. в разделе "Одна логическая копия".

Текущие ограничения

В настоящее время Fabric не поддерживает следующие функции Delta Lake:

• Контрольные точки версии 2 не доступны во всех сценариях использования. Только блокноты Spark и задания Spark могут считывать данные из таблиц и записывать их с помощью контрольных точек V2. Конечные точки аналитики Lakehouse и SQL некорректно перечисляют таблицы, содержащие контрольные файлы V2 в папке __delta_log.
• Delta Lake 3.x Uniform. Эта функция поддерживается только в вычислительных средах Spark для инженерии данных (ноутбуки, задания Spark).
• Записи колонок идентификаторов (функция Azure Databricks).
• Декларативные конвейеры Spark Lakeflow (функция Azure Databricks).
• Функции Delta Lake 4.x за пределами Lakehouse и ноутбуков Spark: сортировки, тип variant, координированные коммиты и многое другое. Расширение типов поддерживается там, где это указано в матрице описанных выше функций в этой статье.
• Поддержка функций Delta Lake в записных книжках Python: записные книжки Python используют delta-rs (deltalake), DuckDB и Polars вместо средств чтения и записи Spark Delta Lake для работы с таблицами Delta Lake. В настоящее время версии deltalake, закрепленные в Fabric, не поддерживают некоторые функции таблиц Delta Lake, включая векторы удаления, сопоставление столбцов, операции записи с использованием ликвидной кластеризации, оптимизацию и расширение типов. Полары read_delta и write_delta используют deltalake в качестве серверной части, поэтому у них одинаковые ограничения.
• Обходные решения и резервные меры для Delta Lake в Jupyter ноутбуках Python: Функция DuckDB delta_scan может предоставить обходное решение только для чтения для некоторых таблиц, которые deltalake не могут быть прочитаны, например, для таблиц с векторами удаления. Если возможность Delta Lake недоступна или не работает в записной книжке Python, используйте записную книжку PySpark. Записные книжки PySpark предоставляют наиболее полную поддержку Delta Lake в Fabric и включают сценарии Delta Lake, перечисленные для среды выполнения Spark в указанных таблицах. Дополнительные сведения см. в разделе Взаимодействие с данными в записных книжках Python и Выбор между записными книжками Python и PySpark в Microsoft Fabric.

Специальные символы в именах таблиц

Fabric поддерживает специальные символы в составе имен таблиц. Эта функция позволяет использовать символы Юникода для создания имен таблиц в Fabric интерфейсах.

Следующие специальные символы являются зарезервированными или несовместимы по крайней мере с одним из технологий Fabric и не должны использоваться в качестве части имени таблицы: " (двойные кавычки), ' (одинарные кавычки), #, %, +, :, ? или ` (обратная кавычка).

Связанное содержимое

• Обслуживание и оптимизация таблиц между рабочими нагрузками в Microsoft Fabric
• Что такое Delta Lake?
• Таблицы Lakehouse и Delta Lake
• Обзор Direct Lake
• выполнение запросов к таблицам в хранилище через опубликованные журналы Delta Lake