Поделиться через


Добавьте цель назначения Eventhouse в поток событий

В этой статье показано, как добавить Eventhouse в качестве пункта назначения в поток событий Microsoft Fabric.

Примечание.

Расширенные возможности включены по умолчанию при создании потоков событий. Если у вас есть потоки событий, созданные с помощью стандартных возможностей, эти потоки событий будут продолжать работать. Вы по-прежнему можете изменять и использовать их как обычно. Рекомендуется создать новый поток событий для замены стандартных потоков событий, чтобы воспользоваться дополнительными возможностями и преимуществами расширенных потоков событий.

Необходимые условия

  • Доступ к рабочей области в режиме лицензии емкости Fabric или в режиме пробной лицензии с разрешениями уровня Участник или выше.
  • Доступ к Eventhouse, созданному в рабочей области Fabric, где у вас есть права уровня участника или выше.

Примечание.

Максимальное количество источников и назначений для одного потока событий — 11.

Добавить Eventhouse в качестве места назначения

Чтобы добавить Eventhouse в качестве назначения, можно выбрать один из двух режимов ингестии: прямой прием или обработка событий перед приемом.

Режим прямого приема

В режиме прямого приема ваши данные о событиях загружаются непосредственно в Eventhouse без предварительной обработки. Вы можете использовать режим прямого ввода для добавления назначения Eventhouse в ваш поток по умолчанию.

Внимание

Вы можете использовать прямой прием только для потока по умолчанию. Прямой прием не может следовать за операторами обработки или производными потоками. Если вы хотите добавить конечную точку Eventhouse после обработки операторов или производных потоков, вместо этого используйте обработку событий до приема.

  1. В режиме Редактировать для вашего потока событий выберите "Добавить назначение" на ленте или выберите карточку Преобразовать события или добавить назначение на холсте, а затем выберите Eventhouse.

    Снимок экрана: выбор Eventhouse в раскрывающемся списке

  2. На экране Eventhouse выберите прямой ввод.

  3. Введите имя назначения , рабочую область и Eventhouse из выбранной рабочей области.

  4. Выберите Сохранить.

    Снимок экрана: экран конфигурации Eventhouse.

  5. Подключите новую карточку назначения Eventhouse к выходным данным потока событий, если оно еще не подключено, а затем нажмите кнопку "Опубликовать".

    Снимок экрана: поток событий с выделенной кнопкой

  6. В режиме реального временивыберите Настроить в узле назначения Eventhouse.

    Снимок экрана опубликованного потока событий с выделенной кнопкой

  7. Ваш дом событий откроется на экране Получение данных. Выберите существующую таблицу базы данных KQL или выберите новую таблицу для маршрутизации и приема данных.

  8. Укажите имя подключения к данным или сохраните имя, а затем нажмите кнопку "Далее". Для извлечения данных из потока событий может потребоваться несколько минут.

    Снимок экрана: экран получения данных для назначения базы данных KQL с выделенной кнопкой

  9. На экране проверки данных можно:

    • Выберите формат, чтобы предварительно просмотреть, как данные отправляются в Eventhouse.
    • Выберите "Изменить столбцы", чтобы настроить столбцы для данных.
    • Выберите "Дополнительно ", чтобы выбрать события для включения или выбора параметров сопоставления.

    Снимок экрана: форматы данных и дополнительные параметры на экране проверки данных.

  10. Если выбрать "Изменить столбцы", на экране "Изменить столбцы" можно:

    • Выберите " Добавить столбец", чтобы добавить столбец .
    • Выберите исходные столбцы для сопоставления.
    • Примените трансформацию сопоставления к столбцам.
    • Измените значения образцов данных.

    Затем выберите Применить.

    Снимок экрана: экран

  11. После завершения настройки данных нажмите кнопку "Готово " на экране проверки данных .

  12. На экране сводной информации просмотрите сведения и состояние приема ваших данных, включая таблицу с заданной вами схемой и подключением между потоковым событием и Eventhouse. Выберите Закрыть, чтобы завершить настройку Eventhouse.

    Снимок экрана: экран

Вы теперь можете увидеть место назначения Eventhouse на холсте в режиме реального времени.

Снимок экрана: настроенное назначение базы данных KQL в режиме реального времени.

Обработка событий перед поглощением

Обработка данных событий перед загрузкой обрабатывает их перед добавлением в Хранилище Событий. Используйте этот режим, если вы применяете такие операторы, как фильтрация или агрегирование для обработки данных перед приемом или после производного потока.

  1. В режиме редактирования для потока событий наведите указатель мыши на оператор или производный поток, выберите +, а затем выберите Eventhouse.

    Снимок экрана: выбор символа +для выходных данных оператора и выбор базы данных KQL.

  2. На экране Eventhouse уже должна быть выбрана обработка событий перед приемом. Заполните остальные сведения о вашем хранилище событий, а затем нажмите кнопку Сохранить.

    Снимок экрана экрана конфигурации базы данных KQL для обработки событий перед началом приема данных.

  3. Чтобы внедрить недавно добавленный пункт назначения Eventhouse, выберите Опубликовать.

    Снимок экрана потока событий в режиме редактирования с добавленным назначением базы данных KQL.

После выполнения этих действий поток событий с назначением Eventhouse доступен для визуализации в режиме живого просмотра.

Снимок экрана: настроенный поток обработки событий базы данных KQL в режиме реального времени.

Примечание.

При настройке потока событий источник, логика преобразования и назначение обычно добавляются вместе. По умолчанию при публикации потока событий серверные службы для приема данных и маршрутизации данных начинаются с Теперь соответственно. Однако прием данных может начинаться быстрее, чем маршрутизация данных, что приводит к приему некоторых данных в eventstream до полной инициализации маршрутизации. В результате эти данные могут не направляться в место назначения.

Типичным примером является источник CDC базы данных, где некоторые исходные данные моментального снимка могут оставаться в потоке событий без перенаправления в место назначения.

Чтобы устранить эту проблему, выполните следующие действия.

  1. При настройке Eventhouse (обработка событий перед приемом данных) или точки назначения Lakehouse снимите флажок Активировать сбор данных после добавления источника данных.

    Снимок экрана базы данных KQL без выбора активации сбора данных после добавления источника данных.

  2. Активируйте инжестию вручную после публикации Eventstream.

  3. Используйте параметр пользовательского времени, чтобы выбрать более раннюю метку времени, обеспечивая правильную обработку и маршрутизацию исходных данных.

    Снимок экрана: возобновление базы данных KQL. Дополнительные сведения см. в статье Приостановка и возобновление потоков данных

Чтобы узнать, как добавить другие места в поток событий, см. следующие статьи:

Предварительные требования

Перед началом работы необходимо выполнить следующие предварительные требования:

  • Доступ к рабочей области в режиме лицензии емкости Fabric или в режиме пробной лицензии с разрешениями уровня 'Участник' или выше.
  • Доступ к виртуальной рабочей области с правами уровня "Участник" или выше, в которой расположена ваша база данных KQL.

Примечание.

Максимальное количество источников и назначений для одного потока событий — 11.

Добавление базы данных KQL в качестве назначения

Чтобы добавить базу данных KQL в качестве пункта назначения, необходимо создать базу данных KQL в рабочей области и выбрать один из двух режимов инжестии: прямой приём и обработка событий перед инжестией.

Прямое прием

Этот режим загружает данные событий непосредственно в базу данных KQL без какой-либо обработки. Этот режим можно использовать, если вы хотите принять данные события как есть и выполнить любую обработку или преобразование позже в базе данных KQL с помощью запросов KQL.

  1. Выберите новое назначение на ленте или "+" на холсте основного редактора, а затем выберите базу данных KQL. Откроется экран конфигурации целевой базы данных KQL.

  2. Выберите прямая инжестация, введите имя назначения, выберите рабочую область, выберите базу данных KQL из выбранной рабочей области, а затем выберите “Добавить и настроить”.

    Примечание.

    Вы можете выбрать только рабочие области с той же емкостью Fabric региона, что и поток событий.

    Снимок экрана: экран целевой конфигурации режима извлечения базы данных KQL.

  3. На странице "Получение данных" перейдите по вкладкам, чтобы завершить настройку:

    1. Настройка. Используйте существующую таблицу базы данных KQL или создайте новую для маршрутизации и приема данных. Заполните обязательные поля и нажмите кнопку "Далее".

      Снимок экрана, показывающий вкладку

    2. Проверьте: выберите формат данных и просмотрите способ отправки данных в базу данных KQL.

      Снимок экрана, показывающий формат данных на экране загрузки данных для создания места назначения базы данных KQL.

      Вы также можете изменить имя столбца, тип данных или обновить столбец, щелкнув стрелку в заголовке таблицы. Заполните обязательные поля и нажмите кнопку Готово.

      Снимок экрана, показывающий, как изменить столбец экрана загрузки данных для создания пункта назначения базы данных KQL.

      Снимок экрана: изменение имени столбца, типа данных экрана приема данных для создания назначения базы данных KQL.

    3. Сводка. Просмотрите состояние приема данных, включая таблицу, созданную с заданной схемой, и подключение между потоком событий и базой данных KQL.

      Скриншот, показывающий вкладку

  4. После настройки всего и нажатия кнопки "Закрыть" на холсте появится назначение базы данных KQL, подключенное к потоку событий.

    Снимок экрана: новое назначение режима извлечения базы данных KQL.

Обработка событий перед поглощением

Этот режим обрабатывает данные события перед загрузкой в базу данных KQL. Этот режим можно использовать, если вы хотите применить некоторую обработку или преобразование к данным события перед приемом, например для фильтрации, агрегирования или расширения. Вы можете разработать логику обработки с помощью обработчика событий.

  1. Выберите обработку событий перед приемом, заполните сведения о базе данных KQL, а затем выберите "Открыть обработчик событий".

    Снимок экрана: экран конфигурации целевого режима отправки базы данных KQL.

  2. Проектирование обработки событий с помощью обработчика событий, а затем нажмите кнопку "Сохранить"

    Снимок экрана: экран обработчика событий в режиме push-уведомлений.

  3. При выборе существующей таблицы Kusto выполняется проверка схемы между текущей схемой в этом потоке событий и целевой таблицей KQL. Если две схемы не совпадают, отображается сообщение об ошибке и напоминает вам, чтобы открыть обработчик событий, чтобы настроить схему в этом потоке событий соответствующим образом.

    Снимок экрана: экран ошибки обработчика событий в режиме push.

    При открытии обработчика событий подробные сведения о несоответствии отображаются на вкладке "Ошибка разработки".

    Экран информации о несоответствии обработчика событий в режиме push: снимок экрана.

  4. После того как вы настроите все и нажмете Сохранить, на холсте появится место назначения базы данных KQL, подключенное к вашему потоку событий. Вы можете проверить метрики в информации о данных и журналы в журналах среды выполнения.

    Снимок экрана, показывающий новое место назначения режима отправки базы данных KQL.

Управление назначением

Изменение и удаление: можно изменить или удалить назначение потока событий с помощью области навигации или холста.

При нажатии кнопки "Изменить" откроется область редактирования в правой части основного редактора. Вы можете изменить конфигурацию по желанию, включая логику преобразования событий с помощью редактора обработчика событий.

Снимок экрана, показывающий, где выбрать параметры изменения и удаления для местоположений на холсте.

Чтобы узнать, как добавить другие пункты назначения в поток событий, см. следующие статьи: