Включение конечной точки Eventhouse для озерохранилища и хранилища

Конечная точка Eventhouse — это мощная возможность в Microsoft Fabric, которая позволяет запрашивать таблицы с исключительной скоростью и простотой. Используйте конечную точку Eventhouse для выполнения запросов к данным lakehouse или хранилища, обнаружения аналитических сведений в режиме реального времени по всему вашему набору данных и упрощения анализа структурированных, полуструктурированных и неструктурированных данных.

Преимущества

Когда вы включаете конечную точку Eventhouse, вы получаете:

  • Синхронизация мгновенной схемы: конечная точка синхронизирует таблицы и изменения схемы в течение нескольких секунд без ручной настройки. См. список состояний синхронизации.
  • Зеркальная схема: доступ к текущим и будущим данным lakehouse и хранилищу через зеркальную схему в выделенном представлении базы данных KQL.
  • Расширенные возможности для работы с данными и их визуализации: используйте единую точку входа Анализ данных с помощью для объектов Lakehouse, Data Warehouse, Eventhouse и базы данных KQL, чтобы упростить поиск инструментов, включая конечную точку SQL и ноутбук, где это применимо, а также Copilot, NL2KQL, панели мониторинга, встроенные запросы и визуальное исследование данных.
  • Отражено в деревах каталога Workspace и OneLake: конечная точка и база данных Eventhouse отображаются в виде новых ветвей в дереве озера.
  • Быстрые масштабируемые запросы: выполнение аналитики в KQL или SQL с помощью расширенных операторов таблиц и команд. Для элементов Eventhouse и базы данных KQL конечная точка SQL отображается в разделе Анализ данных с помощью, если включены доступность OneLake и синхронизация схемы.
  • Расширенная аналитика: выполнение анализа временных рядов, обнаружение аномалий и использование Python для расширенной обработки.

После включения конечной точки она отслеживает исходные данные и оптимизирует их для повышения производительности и гибкости в Eventhouse. Каждая таблица lakehouse или хранилища присоединяется к ярлыку OneLake на конечной точке Eventhouse с политиками ускорения выполнения запросов, которые оптимизируют исходные данные.

Производительность и потребление

При инициализации конечная точка создает таблицы и кэширует данные. В течение 10 секунд конечная точка полностью синхронизирована. Во время синхронизации производительность запросов конечной точки замедляется, но по мере кэширования дополнительных данных производительность запросов улучшается. Политику кэша можно обновить.

Конечная точка «Eventhouse» использует ограниченную часть доступной мощности, что может повлиять на общее время подготовки. Хотя данные доступны для запросов в течение нескольких секунд, время выполнения запроса может занять больше времени.

Состояние синхронизации на странице "Обзор системы " или " Базы данных " в хранилище событий помогает указать, выполняется ли кэш или синхронизация. Также проверьте статус каждого ярлыка. Просмотр состояний синхронизации.

Permissions

Пользователи с разрешением участника или владельца родительского источника данных имеют разрешение участника на конечную точку Eventhouse. Они управляют параметрами кэша и хранения.

Предпосылки

  • Рабочая область в емкости с поддержкой Microsoft Fabric.
  • Lakehouse или хранилище данных с таблицами, находящимися в вашей рабочей области или в каталоге OneLake.

Включение конечной точки Eventhouse

Вы можете включить конечную точку Eventhouse с помощью любого из следующих трех методов:

Метод 1: Из интерфейса Fabric

  1. В рабочей области Fabric перейдите в Lakehouse или Warehouse.

  2. Выберите меню дополнительных параметров (...) и выберите конечную точку Eventhouse.

    Снимок экрана: включение конечной точки Eventhouse из рабочей области.

Метод 2. Из каталога OneLake

  1. В каталоге OneLake перейдите в Lakehouse или Warehouse.

  2. Выберите меню дополнительных параметров (...) и выберите конечную точку Eventhouse.

    Снимок экрана: включение конечной точки Eventhouse из каталога OneLake.

Метод 3. Из ленты Lakehouse или Warehouse в каталоге OneLake

  1. В каталоге OneLake выберите Lakehouse или Warehouse , чтобы открыть сведения.

  2. На панели инструментов выберите Анализ данных с>конечной точкой Eventhouse.

    Снимок экрана активирования конечной точки Eventhouse на ленте Lakehouse.

Метод 4: Из опции "Анализ данных с" в системе Lakehouse/Warehouse

  1. В рабочей области Fabric перейдите в Lakehouse или Warehouse.

  2. Выберите Анализ данных с>конечной точкой Eventhouse.

    Снимок экрана кнопки **Анализ данных с помощью** в раскрытом виде, показывающей параметры конечной точки аналитики SQL, конечной точки eventhouse и записной книжки.

Анализ данных с помощью меню

Microsoft Fabric предоставляет единое меню Анализ данных с помощью для элементов Lakehouse, Data Warehouse, Eventhouse и базы данных KQL.

  • В элементах Lakehouse и Data Warehouse меню включает конечную точку Eventhouse.
  • Из элементов базы данных Eventhouse и KQL меню включает конечную точку SQL (если включена доступность OneLake и синхронизация схем) и Записная книжка.

Завершите настройку

После использования любого из приведенных выше методов:

  • Конечная точка Eventhouse открывается с приветственным сообщением. Нажмите кнопку "Закрыть", чтобы начать запрос к хаусу событий.

    Снимок экрана: приветственное сообщение для конечной точки Eventhouse.

В Рабочей области и каталоге OneLake конечная точка и база данных KQL отображаются в качестве дочерних элементов Lakehouse.

Снимок экрана конечной точки Eventhouse и базы данных KQL, которые являются дочерними элементами Lakehouse в каталоге OneLake.

Запрос, мониторинг и визуализация данных

Конечная точка Eventhouse имеет следующие характеристики:

  • Можно переключаться между страницей Eventhouse, базой данных, конечной точкой и страницей набора запросов, используя навигацию верхней панели.

  • Набор запросов. При создании конечной точки внедренный набор запросов KQL называется <Lakehouse_Name или Warehouse_Name>_EventhouseEndpoint_queryset. В этом наборе запросов можно запрашивать данные в наборе запросов KQL или использовать Copilot для написания запросов.

    Снимок экрана: набор запросов KQL с запросом схемы получения таблицы.

  • Обзор системы: отображает состояние синхронизации, статистику хранения и активности, а также дополнительные сведения , включая ссылку на исходное озеро или хранилище.

  • База данных KQL: база данных называется <Lakehouse_Name или Warehouse_Name>_EventhouseEndpoint. Так как конечная точка Eventhouse доступна только для чтения, возможность создания базы данных и добавления таблиц отключена. Запустите запросы KQL, создайте визуализации на панели мониторинга в режиме реального времени и выполните расширенную аналитику с помощью KQL или SQL. Параметр Анализ данных с>использованием конечной точки SQL отображается для этой базы данных только тогда, когда включены доступность OneLake и синхронизация схемы.

  • Сочетания клавиш: ссылки на таблицы OneLake, которые можно запрашивать непосредственно с помощью функции таблицы или с помощью естественного языка с помощью Copilot. Если источник содержит несколько схем, имя схемы отображается в каждом ярлыке. Например, если схемы sales и marketing, и каждая из них имеет таблицу с именем customers, то ярлыки sales_customers и marketing_customers.

Note

Выберите "Анализ данных с>помощью записной книжки", чтобы запустить новую или существующую записную книжку Spark, которая автоматически присоединяется к выбранному контексту базы данных Lakehouse, Data Warehouse, Eventhouse или KQL.

Обновление политики данных

Обновите период кэша для определенной таблицы ярлыков, чтобы оптимизировать производительность запросов. Период кэша измеряется в днях. По умолчанию он имеет значение 30 дней, но его можно установить как минимум один день и максимум 36500 дней (приблизительно 100 лет). Доступность данных в горячем кэше повышает производительность запросов. См. также разбивка затрат на eventhouse

  1. Перейдите к ярлыкам и выберите таблицу.

  2. В меню дополнительных параметров ...или в верхнем баннере выберите политики данных.

    Снимок экрана: хранилище событий с выделенным параметром

  3. В разделе политики данных таблицы задайте период кэширования (дни).

    Снимок экрана: область политики кэширования со значением по умолчанию.

  4. Новый период хранения кэша вступает в силу немедленно и отображается в области сведений о ярлыке.

    Снимок экрана: страница сведений о ярлыке с выделенной политикой кэширования.

Предоставление общего доступа к конечной точке Eventhouse

Чтобы предоставить общий доступ к конечной точке, необходимо настроить параметры общего ресурса как для конечной точки, так и для исходных данных.

  1. Настройте разрешения для совместного использования данных в Lakehouse или совместного использования данныхв хранилище данных.

  2. Настройте разрешения для общего доступа к конечной точке Eventhouse илидля совместного использования каждой базы данных KQL.

  3. Отправьте ссылку авторизованным пользователям.

Отключите конечную точку Eventhouse.

Удалите конечную точку Eventhouse из рабочей области или каталога OneLake. При удалении конечной точки Eventhouse также удаляется база данных KQL, но Lakehouse остается неизменной.

  1. Откройте рабочую область Fabric.

  2. Перейдите к ветви конечной точки Eventhouse в структуре дерева Lakehouse/Warehouse. В меню дополнительных параметров нажмите кнопку "Удалить".

    Снимок экрана: дерево Lakehouse. Откроется меню дополнительных параметров, и выделен пункт

  3. В диалоговом окне подтверждения выберите Удалить.

    Если удалить конечную точку Eventhouse, ее можно повторно включить в любое время. Новая конечная точка создает новую базу данных Eventhouse и KQL, но новая база данных не сохраняет предыдущие запросы, визуализации или панели мониторинга. Если вы попытаетесь повторно включить конечную точку, пока предыдущая всё ещё удаляется, появится сообщение с просьбой подождать несколько секунд. После удаления предыдущей конечной точки его можно повторно включить.

    Снимок экрана: сообщение о том, что конечная точка удаляется, и подождите несколько секунд.

Перезагрузка конечной точки API Eventhouse

Нажмите кнопку сброса, чтобы удалить точку подключения и перезапустить соединение.

Снимок экрана: кнопка сброса под верхней панелью навигации, когда выбрана конечная точка.

Состояние синхронизации

Конечная точка Eventhouse синхронизирует исходные таблицы и изменения схемы в течение секунд. Состояние синхронизации отображается на странице "Системный обзор", на странице баз данных и каждом ярлыке таблицы. Ниже приведен пример состояния синхронизации:

Снимок экрана: состояние синхронизации на странице

Синхронизация состояний конечной точки Eventhouse:

Состояние синхронизации Description
Синхронизированы Синхронизированы все сочетания клавиш OneLake. Исходная ссылка: [ссылка]
workInProgres Синхронизация выполняется. В настоящее время синхронизируются сочетания клавиш OneLake ${syncing} ${total} OneLake. Некоторые сочетания клавиш OneLake разогреваются. Исходная ссылка: {link}
потепление Конечная точка Eventhouse разогревается. Более 50 процентов некоторых сочетаний клавиш OneLake разогреваются. Система синхронизируется с исходным движком. Исходная ссылка: {link}

Состояния синхронизации для ярлыка:

Состояние синхронизации Description
Синхронизированы Это сочетание клавиш полностью синхронизировано. Более 98 процентов данных синхронизируются с источником. Исходная ссылка: {link}
workInProgres Выполняется синхронизация. От 20 до 98 процентов данных синхронизируется с источником. Исходная ссылка: {link}
потепление Синхронизация выполняется. Менее 20 процентов данных синхронизируются с источником. Исходная ссылка: {link}

Соображения и ограничения

  • Вы не можете включить конечную точку Eventhouse, находясь в открытом Lakehouse.

  • Изменения исходной таблицы и схемы зеркально отражаются в конечной точке Eventhouse в течение нескольких секунд (почти в реальном времени) с возможными короткими задержками во время синхронизации.

  • Баннер рекомендаций: При создании конечной точки Eventhouse некоторые таблицы shortcut могут не создаваться. Если одна или несколько таблиц не создаются, в верхней части конечной точки появится баннер помощника с причиной сбоя и именами затронутых таблиц. Вы не можете закрыть баннер. Ниже перечислены распространенные причины сбоя:

    Причина сбоя Description
    Исходная таблица недоступна Базовая таблица OneLake недоступна, например из-за нехватки разрешений (ошибка 403). Убедитесь, что у вас есть права на чтение исходной таблицы, и повторите попытку.
    Исходная таблица не в формате Delta Для создания ярлыка требуется, чтобы исходная таблица была в формате Delta. Преобразуйте исходную таблицу в формат Delta и заново создайте конечную точку.
    Неподдерживаемые функции Delta Исходная таблица использует функции Delta, которые сейчас не поддерживаются. Неподдерживаемые функции включают: столбцы временных меток без часового пояса, контрольные точки V2, таблицы, управляемые каталогом.