Улучшение обработки событий с помощью нескольких выводов схемы (предварительная версия)

Функция вывода нескольких схем в потоках событий Microsoft Fabric поддерживает вывод нескольких схем из различных источников и самого потока событий. Эту функцию можно использовать для разработки различных путей преобразования данных, выбрав одну из приведенных схем с богатой гибкостью. Эта возможность позволяет легко интегрировать и обрабатывать данные, обслуживающие среды с сложными и несколькими фигурами данных. В ней рассматриваются проблемы, с которыми пользователи ранее сталкивались с выводом одной схемы.

Эта функция полезна для следующих сценариев:

• Просмотр и обновление выведенных схем: выведенные схемы в потоке событий можно просмотреть и проверить в нескольких местах. Если какие-либо типы данных в определенных полях неправильно выводятся, функция позволяет вносить необходимые исправления.

• Используйте различные выводимые схемы для различных путей преобразования: при настройке первого узла оператора после среднего потока по умолчанию необходимо выбрать одну из выводных схем. Этот выбор позволяет создать путь преобразования со столбцами событий из выбранной схемы.

  Различные пути преобразования могут использовать разные схемы для преобразования данных в одном потоке событий. Эта возможность повышает гибкость преобразования данных.

• Получение хорошо упорядоченных результатов предварительного просмотра и тестирования данных: несколько выводов схемы позволяют хорошо упорядоченно отображать предварительные данные и результаты теста. Ранее данные с несколькими схемами отображались со смешанными столбцами при просмотре данных или тестировании результатов. Такой вид отображения привел к путанице. Теперь можно выбрать выводную схему, чтобы отфильтровать предварительные или проверенные данные. На вкладке отображаются только данные, соответствующие выбранной схеме, для предварительного просмотра или тестирования данных.

• Исключите ошибки разработки в путях преобразования при повторном вводе режима редактирования: эта функция сохраняет схему, применяемую в путях преобразования (например, операторах) после публикации потока событий. Эта возможность устраняет ошибки авторинга, которые ранее отображались на пути преобразования в инференсных потоках событий с одной схемой, когда в режиме редактирования не присутствовала сопоставленная схема.

  Теперь можно продолжить настройку конфигураций операторов в путях преобразования и опубликовать поток событий, даже если только что выводимая схема не соответствует той, которая используется в конфигурациях операторов, или если схема не выводится при повторном входе в режим редактирования .

• Сопоставить каждую схему с источником: при выводе нескольких схем поток событий помогает сопоставить каждую схему с источником. Если поток событий не может определить источник данных с выводимой схемой, вам будет предложено вручную сопоставить схему с соответствующим источником. Это сопоставление гарантирует, что каждая схема имеет связанный источник для проектирования преобразования. Она обеспечивает видимость источника схемы.

Принцип работы

Схемы выводятся на основе данных, просмотренных как из источников, так и потока событий в пределах диапазона времени. Если в источнике или потоке событий нет данных или источник не поддерживает предварительный просмотр данных, схема не выводится. Если предварительно просмотренные данные изменяются (например, добавляются новые поля или изменяется тип данных), выводится новая схема.

Если операторы настроены в потоке событий, схема, используемая для конфигураций операторов, сохраняется при публикации потока событий. При повторном вводе режима редактирования эта сохраненная схема остается применена к операторам. Этот подход устраняет ошибки разработки, которые возникают, когда выводная схема отличается от той, которая используется в конфигурациях операторов, или если схема не выводится.

Предпосылки

• Доступ к рабочей области с разрешениями 'Contributor' или выше, где находится ваш поток событий.

Включите логический вывод нескольких схем

Чтобы использовать несколько выводов схемы, необходимо включить функцию в потоке событий. Его можно включить как в новых, так и в существующих потоках событий.

1. Откройте поток событий, перейдите в раздел "Параметры" и выберите "Схема".
2. Включите переключатель вывода нескольких схем и нажмите кнопку "Применить".

Просмотр и обновление выводимых схем

Если источник событий поддерживает предварительную версию данных или поток событий содержит данные, схемы можно автоматически выводить из предварительной версии данных. Перейдите в режим редактирования , а затем перейдите на вкладку "Выводная схема ", чтобы просмотреть и изменить схемы в потоке событий.

Выберите имя схемы, чтобы просмотреть все столбцы (т. е. поля) в схеме. Если какие-либо поля выводятся неправильно, их можно исправить. Например, можно исправить имена полей, исправить типы данных или добавить и удалить поля. Выберите "Обновить", чтобы сохранить изменения.

Использование различных схем в путях преобразования

Функция вывода нескольких схем позволяет использовать различные схемы в разных путях преобразования. При настройке первого узла оператора после потока по умолчанию выберите элемент в списке входных схем .

Выбор схемы здесь помогает определить логику преобразования с помощью полей, указанных в этой схеме. Однако он не фильтрует входящие данные. Даже если событие не имеет выбранных полей, оно по-прежнему обрабатывается, при этом эти поля остаются пустыми.

Например, если выбрать схему из Sp500stocks, но получаете данные из Bicycles, событие все равно достигнет настраиваемой конечной точки. Выбранные поля отображают значения NULL.

В этом случае пункт назначения eventhouse не получает никакие данные.

Каждый путь преобразования в потоке событий может использовать другую схему. В первом операторе каждого пути после потока по умолчанию можно выбрать схему, которая лучше всего соответствует ожидаемому требованию этого пути для преобразования данных.

Если путь преобразования не содержит операторов, можно выбрать входную схему непосредственно в конфигурации назначения. Входная схема не выступает в качестве фильтра. Он действует как входная схема для генерации запросов back-end.

Просмотр данных по схеме в результатах предварительного просмотра и тестирования данных

После добавления поддерживаемого предварительного просмотра источника или после начала потока данных в опубликованном потоке событий можно войти в режим Редактирования и выбрать проектируемую схему для просмотра сопоставленных тестовых данных.

Вы можете выбрать выведенную схему в режиме редактирования, чтобы просмотреть результат теста, если источник поддерживает предварительный просмотр данных, или если источник этого не поддерживает, но поток событий публикуется и данные поступают в поток по умолчанию.

Чтобы просмотреть сведения о схеме, используемые в узлах (операторах или назначении) в пути преобразования, выберите оператор или целевой узел, а затем выберите схему представления.

Вы также можете выбрать выводную схему, чтобы отфильтровать предварительные данные в режиме реального времени . Эта фильтрация может гарантировать, что на вкладке предварительного просмотра данных отображаются только данные, соответствующие выбранной схеме.

Сопоставление схемы с источником

Поток событий автоматически сопоставляет выводимые схемы с соответствующими источниками при определении источников схем. Например, если источник поддерживает предварительную версию данных и схема выводится из этих предварительных данных, поток событий сопоставляет схему с источником соответствующим образом.

Если источник данных не поддерживает предварительную версию данных, необходимо сначала опубликовать поток событий и дождаться поступления данных. Затем переключитесь в режим редактирования , чтобы просмотреть выводимую схему. В этом случае, так как поток событий не может определить источник данных на основе выводимой схемы, вам будет предложено вручную сопоставить схему с правильным источником.

Чтобы вручную назначить схему источнику:

1. В режиме редактирования на вкладке "Выводная схема " выберите "Сопоставление с источником данных".

   

2. Выберите источник данных для сопоставления и нажмите кнопку "Сохранить ", чтобы сохранить изменения.

   

Схему можно сопоставить во время первого использования в пути преобразования. При настройке и сохранении оператора или назначения диалоговое окно предложит выбрать подходящий источник схемы.

Вопросы и ответы

Почему схема не выводится после добавления источника и обновления результата теста?

При создании нового потока событий и добавлении источника, который не поддерживает предварительный просмотр данных, схема не выводится немедленно, даже после обновления результата теста.

Например, предположим, что вы используете Azure Service Bus в качестве кастомного источника конечной точки. Чтобы создать выводные схемы в этом случае, необходимо сначала опубликовать поток событий и дождаться поступления данных в поток событий. После начала поступления данных в поток событий, переключитесь в режим редактирования, чтобы просмотреть схемы, определяемые автоматически. Эти действия необходимы, так как схемы выводятся на основе данных, предварительно просмотренных из источника и потока событий.

В этом случае, если вы используете выводную схему в пути преобразования, необходимо вручную сопоставить схему с правильным источником на вкладке "Выводная схема ".

Я редактировал выводную схему, но данные не изменились. Почему?

Изменение выводимых схем изменяет интерпретацию входящей структуры данных и типа событий, но не изменяет фактические значения и типы данных. Эту функцию используйте, когда определите, что интерпретируемая схема не соответствует вашему реальному формату и структуре данных, и вам необходимы точные типы столбцов для настройки последовательных операторов.

Чтобы применить изменения к самому данным (например, переименовать поля или преобразовать типы) при обработке данных, используйте оператор "Управление полями" в пути преобразования.

Что делать, если схема данных в существующем источнике изменяется после ее определения?

Если структура данных изменяется (например, вы добавляете новые поля или изменяете тип данных) в источнике, новая схема выводится при предварительном просмотре этих новых данных в этом потоке событий. Причина заключается в том, что схема выводится из предварительно предварительной версии данных.

Вы можете просмотреть и использовать новую схему в режиме редактирования . Кроме того, можно использовать новую схему для упорядочивания предварительных данных в режиме реального времени . Если предыдущая схема используется в операторе или назначении, а поток событий публикуется, предыдущая схема сохраняется и по-прежнему может просматриваться в режиме редактирования .

Каковы последствия публикации потока событий, если схема не сопоставлена с каким-либо источником?

Схема не сохраняется в потоке событий, так как она является временной схемой, и никакие конфигурации оператора или назначения его не используют.

Что произойдет, если удалить существующий источник, имеющий сопоставленную схему?

Если схема, выводимая из источника, не используется в любом операторе или назначении, удаление источника не приводит к ошибке. Однако если схема, полученная из источника, используется в любом операторе или месте назначения, происходит авторская ошибка.

Чтобы продолжить, необходимо повторно сопоставить схему, полученную из удаленного источника, допустимому источнику перед публикацией. Можно выбрать другую схему в качестве входной схемы для оператора.

Почему после включения этой функции в существующем потоке событий отображается дополнительная схема?

При включении множественного выведения схем в существующем потоке событий и переключении в режим редактирования в некоторых случаях отображается дополнительная схема, содержащая смешанные поля. Эта схема исходит из существующего потока событий, используемого для конфигураций операторов. По умолчанию он сопоставляется со всеми источниками, так как поток событий не может определить его источник. Это поведение по умолчанию защищает непрерывность текущей установки и избегает ошибок.

Связанный контент

• Добавьте и управляйте точкой назначения в потоке событий
• Обработка данных событий с помощью редактора обработки событий