Журналы Delta Lake в хранилище в Microsoft Fabric

Область применения:✅ хранилище в Microsoft Fabric

Хранилище в Microsoft Fabric основано на открытых форматах файлов. Пользовательские таблицы хранятся в формате Parquet, а журналы Delta Lake ведутся для всех пользовательских таблиц.

Журналы Delta Lake открывают прямой доступ к пользовательским таблицам хранилища для любого обработчика, который может читать таблицы Delta Lake. Этот доступ ограничен доступом только для чтения, чтобы гарантировать, что данные пользователя поддерживают соответствие транзакций ACID. Все вставки, обновления и удаления данных в таблицах должны выполняться через хранилище. После фиксации транзакции инициируется системный фоновый процесс для публикации обновленного журнала Delta Lake для затронутых таблиц.

Как получить путь к OneLake

Ниже описано, как получить путь OneLake из таблицы в хранилище:

  1. Откройте хранилище в рабочей области Microsoft Fabric.

  2. В обозревателе объектов можно найти дополнительные параметры (...) для выбранной таблицы в папке Таблицы. Выберите меню "Свойства".

    Снимок экрана: расположение параметра

  3. При выборе в области «Свойства» отображаются следующие сведения:

    1. Имя.
    2. Формат
    3. Тип
    4. URL
    5. Относительный путь
    6. URI ABFS для Azure Data Lake Storage

    Снимок экрана: область

Как получить путь к журналам Delta Lake

Журналы Delta Lake можно найти с помощью следующих методов:

  • Журналы Delta Lake можно запрашивать с помощью ярлыков, созданных в Lakehouse. Файлы можно просмотреть с помощью записной книжки Microsoft Fabric Spark или обозревателя Fabric Lakehouse на портале Microsoft Fabric.

  • Журналы Delta Lake в OneLake можно найти через обозреватель службы хранилища Azure, через подключения Spark, такие как режим Power BI Direct Lake, или с помощью любой другой службы, которая может считывать разностные таблицы.

  • Журналы Delta Lake можно найти в папке _delta_log каждой таблицы в обозревателе OneLake в Windows, как показано на следующем снимке экрана.

    Снимок экрана OneLake Explorer for Windows, на котором показан путь к папке журналов delta для таблицы call_center.

Приостановка публикации журнала Delta Lake

При необходимости публикацию журналов Delta Lake можно приостановить и возобновить. При приостановке публикации подсистемы Microsoft Fabric, которые считывают таблицы за пределами хранилища, видят данные, как это было до приостановки. Он гарантирует, что отчеты остаются стабильными и согласованными, отражая данные из всех таблиц, как они существуют до внесения изменений в таблицы. После завершения обновлений данных можно возобновить публикацию Delta Lake Log, чтобы внести все последние изменения данных, видимые для других аналитических подсистем. Другой вариант использования для приостановки публикации журналов Delta Lake заключается в том, что пользователям не требуется взаимодействие с другими вычислительными модулями в Microsoft Fabric, так как это может помочь сэкономить на затратах на вычисления.

Синтаксис для приостановки и возобновления публикации журнала Delta Lake выглядит следующим образом:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = PAUSED | AUTO

Пример: приостановка и возобновление публикации журнала Delta Lake

Чтобы приостановить публикацию журнала Delta Lake, используйте следующий фрагмент кода:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = PAUSED

Запросы к таблицам хранилища в текущем хранилище из других обработчиков Microsoft Fabric (например, запросы из Lakehouse) теперь отображают версию данных, как это было до приостановки публикации журнала Delta Lake. Запросы хранилища по-прежнему отображают последнюю версию данных.

Чтобы возобновить публикацию журнала Delta Lake, используйте следующий фрагмент кода:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = AUTO

После изменения состояния на AUTO подсистема хранилища Fabric публикует журналы всех последних изменений, внесенных в таблицы в хранилище, что позволяет другим аналитическим модулям в Microsoft Fabric читать последнюю версию данных.

Проверка статуса публикации логов Delta Lake

Чтобы проверить текущее состояние публикации журнала Delta Lake во всех хранилищах в текущем рабочем пространстве, используйте следующий фрагмент кода:

SELECT [name], [DATA_LAKE_LOG_PUBLISHING_DESC] FROM sys.databases

Ограничения

  • Имена таблиц могут использоваться Spark и другими системами только в том случае, если они содержат только следующие символы: A-Z a-z 0-9 и символы подчеркивания.
  • Имена столбцов, которые будут использоваться Spark и другими системами, не могут содержать:
    • Пробелы
    • вкладки
    • возврат каретки
    • [
    • ,
    • ;
    • {
    • }
    • (
    • )
    • =
    • ]

Связанный контент

  • Last updated on