Доступность Eventhouse OneLake
Вы можете создать одну логическую копию данных базы данных KQL в хранилище событий, включив доступность OneLake. Включение доступности OneLake означает, что вы можете запрашивать данные в базе данных KQL в формате Delta Lake с помощью других подсистем Fabric, таких как режим Direct Lake в Power BI, Warehouse, Lakehouse, Notebook и т. д.
Delta Lake — это унифицированный формат таблицы озера данных, который обеспечивает простой доступ к данным во всех вычислительных модулях в Microsoft Fabric. Дополнительные сведения о Delta Lake см. в разделе "Что такое Delta Lake?".
Из этой статьи вы узнаете, как включить доступность данных базы данных KQL в OneLake.
Принцип работы
В следующей таблице описывается поведение базы данных И таблиц KQL при включении или отключении доступности OneLake.
| Включено | Выключен | |
|---|---|---|
| База данных KQL | — Существующие таблицы не затрагиваются. Новые таблицы доступны в OneLake. — Политика хранения данных базы данных KQL также применяется к данным в OneLake. Данные, удаленные из базы данных KQL в конце срока хранения, также удаляются из OneLake. |
— Существующие таблицы не затрагиваются. Новые таблицы не будут доступны в OneLake. |
| Таблица в базе данных KQL | — Новые данные доступны в OneLake. — Существующие данные не заполнены. — Данные не могут быть удалены, усечены или удалены. — Невозможно изменить схему таблицы, а таблицу нельзя переименовать. — Безопасность на уровне строк не может быть применена к таблице. |
— Новые данные недоступны в OneLake. — Данные могут быть удалены, усечены или удалены. — Можно изменить схему таблицы, а таблицу можно переименовать. — Данные обратимо удаляются из OneLake. |
Внимание
Для отображения данных в OneLake может потребоваться до нескольких часов. Дополнительные сведения см. в разделе "Адаптивное поведение".
Нет дополнительных затрат на хранение для включения доступности OneLake. Дополнительные сведения см. в разделе о потреблении ресурсов.
Необходимые компоненты
- Рабочая область с емкостью с поддержкой Microsoft Fabric
- База данных KQL с разрешениями на редактирование и данными
Включение доступности OneLake
Вы можете включить доступность OneLake на уровне базы данных или таблицы KQL.
Чтобы включить доступность OneLake, перейдите в раздел OneLake в области сведений базы данных или таблицы KQL.
Задайте для доступности значение "Вкл.".
База данных обновляется автоматически.
Вы включили доступность OneLake в базе данных KQL. Теперь вы можете получить доступ ко всем новым данным, добавленным в базу данных, по указанному пути OneLake в формате Delta Lake. Вы также можете создать ярлык OneLake из Lakehouse, хранилища данных или запросить данные непосредственно через режим Direct Lake Power BI.
Адаптивное поведение
Eventhouse предлагает надежный механизм, который интеллектуально пакетирует входящие потоки данных в один или несколько файлов Parquet, структурированных для анализа. Потоки данных пакетной обработки важны при обработке данных. Написание множества небольших файлов Parquet в озеро может быть неэффективным, что приводит к более высоким затратам и низкой производительности.
Адаптивный механизм Eventhouse может отложить операции записи в течение нескольких часов, если недостаточно данных для создания оптимальных файлов Parquet. Это гарантирует, что файлы Parquet являются оптимальными по размеру и соответствуют рекомендациям Delta Lake. Адаптивный механизм Eventhouse гарантирует, что файлы Parquet загружены для анализа и балансировки потребности в доступности данных с учетом затрат и производительности.
Вы можете отслеживать, как давно новые данные были добавлены в озере, проверив задержку данных с помощью команды операций зеркального отображения таблиц .show.
Результаты измеряются с момента последнего добавления данных. Если задержка приводит к 00:00:00, все данные в базе данных KQL доступны в OneLake.
Просмотреть файлы
При включении доступности OneLake в таблице создается разностная папка журнала вместе с любыми соответствующими файлами JSON и Parquet. Вы можете просмотреть файлы, которые были доступны в OneLake и их свойства, оставаясь в аналитике в режиме реального времени.
Чтобы просмотреть файлы, наведите указатель мыши на таблицу в области обозревателя и выберите меню "Дополнительно" [...]>Просмотр файлов.
Чтобы просмотреть свойства папки разностного журнала или отдельных файлов, наведите указатель мыши на папку или файл, а затем выберите меню "Дополнительно" [...]>Свойства.
Чтобы просмотреть файлы в папке разностного журнала, выполните следующие действия.
- Выберите папку _delta_log .
- Выберите файл для просмотра метаданных и схемы таблицы. Открывающийся редактор находится в формате только для чтения.
Политика зеркального отображения доступа
По умолчанию при включении доступности OneLake политика зеркального отображения включена. Политику можно использовать для мониторинга задержки данных или изменения ее для секционирования разностных таблиц.
Примечание.
Если отключить доступность OneLake, свойство политики IsEnabled зеркального отображения имеет значение false (IsEnabled=false).
Разностные таблицы секционирования
Вы можете секционировать разностные таблицы для повышения скорости запроса. Сведения о том, когда следует секционировать файлы OneLake, см. в разделе "Когда следует секционировать таблицы". Каждая секция представлена в виде отдельного столбца, используя имя секции , указанное в списке секций . Это означает, что копия OneLake содержит больше столбцов, чем исходная таблица.
Чтобы секционировать разностные таблицы, используйте команду зеркального отображения политики слияния .alter-merge.
Связанный контент
- Сведения о доступе к данным в OneLake см. в статье "Создание ярлыка в OneLake"
- Чтобы создать ярлык OneLake в Lakehouse, ознакомьтесь со сведениями о сочетаниях клавиш в lakehouse?
- Запрос данных из OneLake в базе данных или таблице KQL см. в статье "Создание ярлыка OneLake в базе данных KQL"