Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В Microsoft Fabric формат таблицы Delta Lake является стандартным для аналитики. Delta Lake — это слой хранения с открытым исходным кодом, который обеспечивает транзакции ACID (атомарность, согласованность, изоляция, устойчивость) к большим данным и рабочим нагрузкам аналитики.
Все интерфейсы Fabric изначально создают и используют таблицы Delta Lake, предоставляя унифицированный интерфейс продукта. Таблицы Delta Lake, созданные одним вычислительным ядром, например хранилищем данных Fabric или Synapse Spark, могут использоваться любым другим ядром, например Power BI. При приеме данных в Fabric, Fabric сохраняет их в виде таблиц Delta по умолчанию. Вы можете легко интегрировать внешние данные, содержащие таблицы Delta Lake, с помощью сочетаний клавиш OneLake.
Функции Delta Lake и опыт работы с Fabric
Для обеспечения взаимодействия все возможности Fabric соответствуют возможностям Delta Lake и Fabric. Некоторые интерфейсы могут записывать только в таблицы Delta Lake, а другие могут читать из него.
- Писатели: хранилища данных, потоки событий и экспортированные семантические модели Power BI в OneLake
- Читатели: конечная точка аналитики SQL и семантические модели Power BI для прямого доступа к озеру данных
- Авторы и читатели: среда выполнения Fabric Spark, потоки данных, конвейеры и базы данных языка запросов Kusto (KQL)
В следующей матрице показаны ключевые функции Delta Lake и его доступность для каждого интерфейса Fabric.
| Возможности Fabric | Сопоставления столбцов | Векторы удаления | Написание в V-порядке | Оптимизация таблиц и обслуживание | Перегородки |
|---|---|---|---|---|---|
| Экспорт хранилища данных Delta Lake | Имя: Да Идентификатор: Нет |
Да | Да | Да | Чтение: N/A (неприменимо) Запись: Нет |
| Конечная точка аналитики SQL | Имя: Да Идентификатор: Нет |
Да | N/A (неприменимо) | N/A (неприменимо) | Прочитано: Да Введите: N/A (неприменимо) |
| Обозреватель Lakehouse и предварительная версия | Имя: Да Идентификатор: Нет |
Да | N/A (неприменимо) | Да | Прочитано: Да Введите: N/A (неприменимо) |
| Среда выполнения Fabric Spark 2.0 (предварительная версия) | Имя: Да Идентификатор: Да |
Да | Да | Да | Прочитано: Да Запись: Да |
| Среда выполнения Fabric Spark 1.3 | Имя: Да Идентификатор: Да |
Да | Да | Да | Прочитано: Да Запись: Да |
| Среда выполнения Spark Fabric 1.2 | Имя: Да Идентификатор: Да |
Да | Да | Да | Прочитано: Да Запись: Да |
| Среда выполнения Spark Fabric 1.1 | Имя: Да Идентификатор: Да |
Нет | Да | Да | Прочитано: Да Запись: Да |
| Потоки данных 2-го поколения | Имя: Да Идентификатор: Нет |
Да | Да | Нет | Прочитано: Да Запись: Да |
| Трубопроводы | Имя: Нет Идентификатор: Нет |
Нет | Да | Нет | Прочитано: Да Запись: Да, только перезапись |
| Модели семантики прямого подключения к озеру данных Power BI | Имя: Да Идентификатор: Да |
Да | N/A (неприменимо) | N/A (неприменимо) | Прочитано: Да Введите: N/A (неприменимо) |
| Экспорт семантических моделей Power BI в OneLake | Имя: Да Идентификатор: Нет |
N/A (неприменимо) | Да | Нет | Чтение: N/A (неприменимо) Запись: Нет |
| Базы данных KQL | Имя: Да Идентификатор: Нет |
Да | Нет | Нет1 | Прочитано: Да Запись: Да |
| Потоки событий | Имя: Нет Идентификатор: Нет |
Нет | Нет | Нет | Чтение: N/A (неприменимо) Запись: Да |
1 базы данных KQL предоставляют определенные возможности обслуживания таблиц, такие как хранение. Данные удаляются в конце периода хранения из OneLake. Дополнительные сведения см. в разделе "Одна логическая копия".
| Возможности Fabric | Кластеризация Жидкости | TIMESTAMP_NTZ | Версия Delta для чтения и записи и функции таблицы по умолчанию | Расширение типов |
|---|---|---|---|---|
| Экспорт хранилища данных Delta Lake | Нет | Нет | Читатель: 3 Писатель: 7 Векторы удаления, Сопоставления столбцов (наименование) |
Да |
| Конечная точка аналитики SQL | Да | Нет | N/A (неприменимо) | Да |
| Обозреватель Lakehouse и предварительная версия | Да | Да | N/A (неприменимо) | Да |
| Среда выполнения Fabric Spark 2.0 (предварительная версия) | Да | Да | Читатель: 3 Писатель: 7 Векторы удаления |
Да |
| Среда выполнения Fabric Spark 1.3 | Да | Да | Читатель: 1 Писатель: 2 |
Нет |
| Среда выполнения Spark Fabric 1.2 | Да, только для чтения | Да | Читатель: 1 Писатель: 2 |
Нет |
| Среда выполнения Spark Fabric 1.1 | Да, только для чтения | Нет | Читатель: 1 Писатель: 2 |
Нет |
| Потоки данных 2-го поколения | Да, только для чтения | Нет | Читатель: 1 Писатель: 2 |
Нет |
| Трубопроводы | Да, только для чтения | Нет | Читатель: 1 Писатель: 2 |
Нет |
| Модели семантики прямого подключения к озеру данных Power BI | Да | Нет | N/A (неприменимо) | Нет |
| Экспорт семантических моделей Power BI в OneLake | Нет | Нет | Читатель: 2 Писатель: 5 Сопоставления столбцов (наименование) |
Нет |
| Базы данных KQL | Нет | Нет | Читатель: 1 Писатель: 1 |
Нет |
| Потоки событий | Нет | Нет | Читатель: 1 Писатель: 2 |
Нет |
Заметка
- Структура не записывает сопоставления столбцов по умолчанию, за исключением отмеченных. Интерфейс Fabric по умолчанию создает таблицы, совместимые со службой. Таблицы Delta Lake, созданные сторонними службами, могут иметь несовместимые особенности.
- Некоторые интерфейсы Fabric не предлагают возможности оптимизации таблиц и обслуживания, такие как bin-compaction, V-order, удаление векторного слияния (PURGE) и очистка старых нерелентованных файлов (VACUUM). Чтобы поддерживать таблицы Delta Lake в оптимальном состоянии для аналитики, следуйте методам из раздела "Использование функции обслуживания таблиц для управления таблицами Delta в Fabric", для уже поступивших таблиц с использованием этих средств.
- Полные рекомендации по стратегиям обслуживания таблиц для различных сценариев потребления при межрабочих нагрузках см. в статье Обслуживание и оптимизация таблиц для межрабочих нагрузок.
Текущие ограничения
В настоящее время Fabric не поддерживает следующие функции Delta Lake:
- Контрольные точки версии 2 не доступны во всех сценариях использования. Только блокноты Spark и задания Spark могут считывать данные из таблиц и записывать их с помощью контрольных точек V2. Конечные точки аналитики Lakehouse и SQL некорректно перечисляют таблицы, содержащие контрольные файлы V2 в папке
__delta_log. - Delta Lake 3.x Uniform. Эта функция поддерживается только в вычислительных средах Spark для инженерии данных (ноутбуки, задания Spark).
- Запись идентификационных столбцов (функция Azure Databricks)
- Декларативные конвейеры Spark Lakeflow (функция Azure Databricks)
- Функции Delta Lake 4.x за пределами Lakehouse и Spark Notebooks and Jobs: параметры сортировки, тип варианта, координированные фиксации и т. д. Расширение типов поддерживается, где указано в матрице предыдущих функций в этой статье.
Специальные символы в именах таблиц
Microsoft Fabric поддерживает специальные символы в составе имен таблиц. Эта функция позволяет использовать символы юникода для создания имен таблиц в Fabric интерфейсах.
Следующие специальные символы являются зарезервированными или несовместимы по крайней мере с одним из технологий Fabric и не должны использоваться в качестве части имени таблицы: " (двойные кавычки), ' (одинарные кавычки), #, %, +, :, ? или ` (обратная кавычка).
Связанное содержимое
- Обслуживание и оптимизация таблиц для различных рабочих нагрузок
- Что такое Delta Lake?
- Узнайте больше о таблицах Delta Lake в Fabric Lakehouse и Synapse Spark.
- Узнайте о Direct Lake в Power BI и Microsoft Fabric.
- Дополнительные сведения о том, как выполнять запросы к таблицам из хранилища с помощью опубликованных журналов Delta Lake.