Улучшение обработки событий с помощью интерпретации с несколькими схемами (предварительная версия)

Функция вывода с несколькими схемами в потоках событий Microsoft Fabric поддерживает интерпретацию нескольких схем из различных источников и самих потоков событий, что дает возможность проектировать различные пути преобразования данных путем выбора одной из выведенных схем с большим уровнем гибкости. Это позволяет беспрепятственно интегрировать и обрабатывать данные в среде с различными и сложными форматами данных. В ней рассматриваются проблемы, которые ранее были обнаружены при выводе одной схемы.

Эта функция полезна для следующих сценариев:

• Просмотр и обновление выводимых схем: выводимые схемы в потоке событий можно просматривать и проверять в нескольких местах. Если какие-либо типы данных в определенных полях неправильно выводятся, эта функция позволяет вносить необходимые исправления.
• Используйте различные выводимые схемы для различных путей преобразования: при настройке первого узла оператора после среднего потока по умолчанию необходимо выбрать одну из приведенных схем. Это позволяет разрабатывать путь преобразования с помощью столбцов событий из выбранной схемы. Различные пути преобразования могут использовать разные схемы для преобразования данных в одном потоке событий, повышая гибкость преобразования данных.
• Хорошо структурированные результаты предварительного просмотра и тестирования данных: инференс с использованием нескольких схем позволяет упорядоченно отображать предварительные данные и результаты тестирования. Ранее данные с несколькими схемами отображались с смешанными столбцами во время предварительного просмотра или тестирования данных, что приводит к путанице. Теперь вычисленная схема может быть выбрана для фильтрации предварительных или тестовых данных, обеспечивая отображение только данных, соответствующих выбранной схеме, на вкладке "Предварительный просмотр данных" или "Результаты теста".
• Устранение ошибок авторства путей преобразования при повторном вводе режима редактирования: Эта функция сохраняет схему, применяемую в путях преобразования, например операторы, после публикации Eventstream. Введя эту возможность, ошибки, возникавшие ранее на путях преобразования в потоках событий с выводом по одной схеме, когда соответствующая схема отсутствует в режиме редактирования, устранены. Теперь можно продолжать настраивать конфигурации операторов в путях преобразования и публиковать поток событий, даже если только что выводимая схема не соответствует той, которая используется в конфигурациях операторов или если схема не выводится при повторном входе в режим редактирования.
• Сопоставление схемы с источником: при выводе нескольких схем eventstream помогает сопоставить схему с источником, гарантируя, что каждая схема связана с известным источником. Если eventstream не может определить источник данных с выводимой схемой, вам будет предложено вручную сопоставить схему с соответствующим источником, гарантируя, что каждая схема имеет связанный источник для проектирования преобразования. Он дает представление о том, откуда происходит схема.

Принцип работы

Схемы выводятся на основе данных, просмотренных как из источников, так и из потока событий в течение заданного диапазона времени. Таким образом, если в источнике или потоке событий нет данных или источник не поддерживает предварительную версию данных, не будет выводиться схема. Если предварительно просмотренные данные изменяются (например, добавляются новые поля, изменяются типы данных и т. д.), будет выполнен вывод новой схемы. Если в потоке событий настроены операторы, схема, используемая для настройки оператора, сохраняется при публикации этого потока событий. При повторном вводе режима редактирования эта сохраненная схема остается применена к операторам. Этот подход устраняет ошибки разработки, которые возникают, когда выводимая схема отличается от той, которая используется в конфигурациях операторов или если схема не выводится.

Предпосылки

• Доступ к рабочей области с разрешениями уровня Contributor или выше, где находится ваш поток событий.

Как включить логический вывод с использованием нескольких схем

Чтобы использовать эту функцию, необходимо включить логическое заключение с использованием нескольких схем в вашем потоке событий. Его можно включить как в новом, так и в существующем потоке событий.

1. Откройте поток событий и перейдите в раздел "Параметры", а затем выберите "Схема".
2. Включите поддержку нескольких схем и нажмите кнопку "Применить".

Просмотр и обновление выводимых схем

Если источник событий поддерживает предварительную версию данных или поток событий содержит данные, схемы можно автоматически выводить из предварительной версии данных. Перейдите в режим редактирования, выберите вкладку "Выводная схема ", чтобы просмотреть и изменить схемы в eventstream.

Выберите имя схемы, чтобы просмотреть все столбцы (т. е. поля) в схеме. Если какие-либо поля выводятся неправильно, эту функцию можно использовать для их исправления, например исправление имен столбцов (т. е. полей), исправление типов данных или добавление и удаление столбцов. Нажмите кнопку "Применить" , чтобы сохранить изменения.

Использование различных схем в путях преобразования

Функция многосхемного вывода предоставляет возможность использовать разные схемы в различных путях преобразования. При настройке первого узла оператора после потока по умолчанию выберите схему ввода.

Выбор схемы здесь помогает определить логику преобразования с помощью полей, указанных в этой схеме. Однако он не фильтрует входящие данные. Даже если событие не имеет выбранных полей, оно по-прежнему обрабатывается, при этом эти поля остаются пустыми. Например, если выбрать схему из "Sp500stocks", но получать данные из "Велосипеды", событие по-прежнему достигает настраиваемой конечной точки, причем выбранные поля показывают значения NULL.

Целевая точка Eventhouse не получает никаких данных в такой ситуации.

Каждый путь преобразования в потоке событий может использовать другую схему. В первом операторе каждого пути после потока по умолчанию можно выбрать схему, которая лучше всего соответствует ожидаемому требованию преобразования данных для этого пути.

Если путь преобразования не содержит операторов, можно выбрать входную схему непосредственно в конфигурации назначения. Опять же, входная схема не выступает в качестве фильтра, а как входная схема для генерации запросов для бэкенда.

Просмотр данных по схеме в результатах предварительного просмотра и тестирования данных

После добавления источника с поддержкой предварительного просмотра или после того, как данные начнут поступать в опубликованный поток событий, вы можете перейти в режим редактирования и выбрать выведенную схему для просмотра сопоставленных тестовых данных.

Вы можете выбрать вычисляемую схему в режиме редактирования, чтобы просмотреть результат теста, если источник поддерживает предварительный просмотр данных, или если источник этого не делает, но поток событий публикуется и данные передаются в поток по умолчанию.

Чтобы просмотреть сведения о схеме, используемые в узлах (операторах или назначении) в пути преобразования, выберите оператор или целевой узел, а затем выберите схему представления.

Вы также можете выбрать выводную схему, чтобы отфильтровать предварительные данные в режиме реального времени, гарантируя, что на вкладке предварительного просмотра данных отображаются только данные, соответствующие выбранной схеме.

Сопоставление схемы с источником

Eventstream автоматически сопоставляет выводимые схемы с соответствующими источниками при определении источников схем. Например, если источник поддерживает предварительный просмотр данных и схема выводится из этих предварительных данных, Eventstream сопоставляет схему с источником соответствующим образом.

Если источник данных не поддерживает предварительную версию данных, необходимо сначала опубликовать поток событий и дождаться поступления данных. Затем переключитесь в режим редактирования, чтобы просмотреть выводимую схему. В этом случае, так как eventstream не может определить источник данных на основе выводимой схемы, вам будет предложено вручную сопоставить схему с правильным источником.

Вы можете выбрать "Сопоставление с источником данных" на вкладке "Выводная схема " в режиме редактирования, чтобы вручную назначить его источнику.

Выберите источник данных для сопоставления и нажмите кнопку "Сохранить ", чтобы сохранить изменения.

Схему можно сопоставить во время первого использования в пути преобразования. При настройке и сохранении оператора или назначения появится диалоговое окно с запросом на выбор подходящего источника для схемы.

Вопросы и ответы

Вопрос. Почему схема не выводится после добавления источника и обновления результатов теста?

Ответ. При создании нового потока событий и добавлении источника, который не поддерживает предварительную версию данных, схема не будет выводиться немедленно, даже после обновления результатов теста. Например, пользовательский источник конечной точки, служебная шина Azure и т. д. Чтобы создать выводимые схемы в этом случае, необходимо сначала опубликовать Eventstream и дождаться поступления данных в поток событий. Когда данные начнут поступать в ваш поток событий, переключитесь в режим редактирования, чтобы просмотреть выведенные схемы. Это связано с тем, что схемы выводятся на основе данных, отображаемых как из источников, так и из потока событий.

В этом случае, если вы используете выводную схему в пути преобразования, обязательно сопоставьте схему с правильным источником на вкладке "Выводная схема".

Вопрос. Я редактировал выводную схему, но данные не изменились. Почему?

Ответ. Изменение выводимой схемы изменяет интерпретацию Eventstream структуры и типа ваших входящих данных, но не изменяет фактические значения и типы данных. Используйте эту функцию, когда вы определяете, что выведенная схема не согласуется с реальным форматом и структурой ваших данных, и для конфигурации подчиненных операторов требуются точные типы столбцов (т. е. типы полей). Чтобы применить изменения к самому данным (например, переименованию полей, преобразовывая типы) при обработке данных, используйте оператор Managed Field в пути преобразования.

Вопрос. Что делать, если схема моих данных в существующем источнике изменится после того, как она была выведена?

Ответ. Если структура данных изменяется (например, новые поля добавлены, изменения типа данных и т. д.) в источнике, новая схема выводится при предварительном просмотре этих новых данных в этом потоке событий, так как схема выводится из предварительно просмотренных данных. Вы можете просмотреть и использовать новую схему в режиме редактирования. Или новую схему можно использовать для упорядочивания предварительно просмотрированных данных в режиме реального времени. Если предыдущая схема используется в операторе или назначении, а поток событий публикуется, предыдущая схема сохраняется и по-прежнему может просматриваться в режиме редактирования.

Вопрос. Каковы последствия публикации потока событий, если схема не сопоставлена с каким-либо источником?

Ответ. Эта схема не будет храниться в этом потоке событий, так как она является временной схемой и не используется любыми операторами или конфигурациями назначения.

Вопрос. Что происходит, если удалить существующий источник, имеющий сопоставленную схему?

Ответ. Если схема, выводимая из источника, не используется в любом операторе или назначении, удаление источника не приводит к ошибке. Однако если схема, полученная из источника, используется в любом операторе или месте назначения, происходит авторская ошибка. Чтобы продолжить, необходимо повторно сопоставить схему, полученную из удаленного источника, к допустимому источнику перед публикацией, или выбрать другую схему в качестве входной схемы для оператора.

Вопрос. Почему после включения этой функции в существующем потоке событий отображается дополнительная схема?

Ответ. Если эта функция включена в существующем потоке событий и вы переключаетесь в режим редактирования, в некоторых случаях появляется дополнительная схема, содержащая смешанные поля. Эта схема возникает из существующего потока событий, который используется для конфигураций операторов в существующем потоке событий. По умолчанию он сопоставляется со всеми источниками, так как eventstream не может определить его источник. Это обеспечивает непрерывность текущей установки без ошибок.

Ограничения

• В настоящее время, если для потока событий включено множественное выводное моделирование, CI/CD и REST API для этого потока событий могут не функционировать должным образом.

Связанный контент

• Добавление и управление пунктами назначения в потоке событий.
• Обработка данных событий с помощью редактора обработчика событий.