Взаимодействие с форматом таблицы Delta Lake
В Microsoft Fabric формат таблицы Delta Lake является стандартным для аналитики. Delta Lake — это слой хранения с открытым исходным кодом, который обеспечивает транзакции ACID (атомарность, согласованность, изоляция, устойчивость) к большим данным и рабочим нагрузкам аналитики.
Все интерфейсы Fabric создают и используют таблицы Delta Lake, взаимодействие и унифицированный интерфейс продукта. Таблицы Delta Lake, созданные одним вычислительным ядром, например хранилищем данных Synapse или Synapse Spark, могут использоваться любым другим подсистемой, например Power BI. При приеме данных в Fabric Структура сохраняет ее в виде разностных таблиц по умолчанию. Вы можете легко интегрировать внешние данные, содержащие таблицы Delta Lake, с помощью сочетаний клавиш OneLake.
Функции Delta Lake и интерфейсы Fabric
Для обеспечения взаимодействия все возможности Fabric соответствуют возможностям Delta Lake и Fabric. Некоторые интерфейсы могут записывать только в таблицы Delta Lake, а другие могут читать из него.
- Записи: хранилища данных, потоки событий и экспортированные семантические модели Power BI в OneLake
- Читатели: конечная точка аналитики SQL и семантические модели прямого озера Power BI
- Записи и читатели: среда выполнения Fabric Spark, потоки данных, конвейеры данных и базы данных язык запросов Kusto (KQL)
В следующей матрице показаны ключевые функции Delta Lake и их поддержка для каждой возможности Fabric.
| Возможности Fabric | Сопоставления столбцов на основе имен | Векторы удаления | Запись в порядке V | Оптимизация таблиц и обслуживание | Запись секций | Чтение секций | Кластеризация Liquid | TIMESTAMP_NTZ | Возможности разностного средства чтения и записи и таблицы по умолчанию |
|---|---|---|---|---|---|---|---|---|---|
| Экспорт Delta Lake хранилища данных | No | Да | Да | Да | No | Да | No | No | Читатель: 3 Писатель: 7 Векторы удаления |
| Конечная точка аналитики SQL | Да | Да | N/A (неприменимо) | N/A (неприменимо) | N/A (неприменимо) | Да | Да | Нет | N/A (неприменимо) |
| Среда выполнения Spark Fabric 1.3 | Да | Да | Да | Да | Да | Да | Да | Да | Читатель: 1 Писатель: 2 |
| Среда выполнения Spark Fabric 1.2 | Да | Да | Да | Да | Да | Да | Да, только для чтения | Да | Читатель: 1 Писатель: 2 |
| Среда выполнения Spark Fabric 1.1 | Да | No | Да | Да | Да | Да | Да, только для чтения | No | Читатель: 1 Писатель: 2 |
| Потоки данных | Да | Да | Да | No | Да | Да | Да, только для чтения | No | Читатель: 1 Писатель: 2 |
| Конвейеры данных | No | No | Да | Нет | Да, перезапись только | Да | Да, только для чтения | No | Читатель: 1 Писатель: 2 |
| Семантические модели семантики озера Power BI | Да | Да | N/A (неприменимо) | N/A (неприменимо) | N/A (неприменимо) | Да | Да | Нет | N/A (неприменимо) |
| Экспорт семантических моделей Power BI в OneLake | Да | N/A (неприменимо) | Да | No | Да | N/A (неприменимо) | No | No | Читатель: 2 Писатель: 5 |
| Базы данных KQL | Да | Да | No | Нет* | Да | Да | No | No | Читатель: 1 Писатель: 1 |
| Потоки событий | No | No | No | No | Да | N/A (неприменимо) | No | No | Читатель: 1 Писатель: 2 |
* Базы данных KQL предоставляют определенные возможности обслуживания таблиц, такие как хранение. Данные удаляются в конце периода хранения из OneLake. Дополнительные сведения см. в разделе "Одна логическая копия".
Примечание.
- Структура по умолчанию не записывает сопоставления столбцов на основе имен. Интерфейс Fabric по умолчанию создает таблицы, совместимые со службой. Разностное озеро, созданное сторонними службами, может иметь несовместимые функции таблицы.
- Некоторые интерфейсы Fabric не имеют унаследованных возможностей оптимизации таблиц и обслуживания, таких как bin-compaction, V-order, и очистка старых неотправляемых файлов. Чтобы обеспечить оптимальную настройку таблиц Delta Lake для аналитики, следуйте методам , описанным в разделе "Использование функции обслуживания таблиц" для управления разностными таблицами в Fabric для приема таблиц с помощью этих возможностей.
Текущие ограничения
В настоящее время Fabric не поддерживает следующие функции Delta Lake:
- Delta Lake 3.x Uniform
- Записи столбцов удостоверений (собственная функция Databricks)
- Delta Live Tables (собственная функция Databricks)
- RLE (кодировка длины выполнения) включена в файле контрольных точек
Связанный контент
- Что такое Delta Lake?
- Дополнительные сведения о таблицах Delta Lake в Fabric Lakehouse и Synapse Spark.
- Узнайте о Direct Lake в Power BI и Microsoft Fabric.
- Дополнительные сведения о запросах таблиц из хранилища с помощью опубликованных журналов Delta Lake.