Поделиться через


Приостановка и возобновление потоков данных (предварительная версия)

Примечание.

Расширенные возможности включены по умолчанию при создании потоков событий. Если у вас есть потоки событий, созданные с помощью стандартных возможностей, эти потоки событий будут продолжать работать. Вы по-прежнему можете изменять и использовать их как обычно. Рекомендуется создать новый поток событий для замены стандартных потоков событий, чтобы воспользоваться дополнительными возможностями и преимуществами расширенных потоков событий.

В Eventstream функции Пауза и Возобновление (то есть Деактивация и Активация) предоставляют полный контроль над вашими потоками данных, позволяя приостанавливать потоковую передачу данных из различных источников и назначений в Eventstream. Затем вы можете легко возобновить потоковую передачу данных из приостановленного времени или настраиваемого времени, гарантируя отсутствие потери данных.

  • Активировать/Деактивировать все: быстро приостановите и возобновите весь поток данных, поступающих и уходящих из Eventstream, с помощью опций "Активировать все" и "Деактивировать все" в строке меню.
  • Кнопка переключателя включения/выключения: каждый узел имеет переключатель, позволяющий включить (возобновить) или выключить (приостановить) потоковую передачу данных из выбранных источников и к получателям.

В следующей таблице описано описание различных состояний узла:

Состояние узла Описание
Активно Источник данных сейчас активен, и данные поступают в Eventstream или выходят из него.
Неактивное Источник данных в настоящее время неактивен, и данные не передаются в Eventstream или из него.
Загрузка Источник данных находится в процессе включения или отключения.
Ошибка Источник данных в настоящее время приостановлен из-за ошибок.
Предупреждение Источник данных работает, но возникают некоторые проблемы, хотя трафик данных продолжается.

Активация или отключение узла с помощью переключателя

Для узлов, поддерживающих функции приостановки и возобновления работы, вы можете легко управлять потоком данных с помощью переключателя. Найдите нужный узел и переключите переключатель для активации (т. е. возобновления) или деактивации (то есть приостановки) трафика данных. Узлы, которые в настоящее время не поддерживают функцию приостановки и возобновления, не будут иметь переключатель.

В таблице ниже описаны доступные форматы резюме:

Вариант продолжения Описание
После последней остановки потоковой передачи Воспроизведение возобновляется с того места, где потоковая передача была остановлена.
Сейчас Возобновление с текущего времени
Настраиваемое время Возобновление с настраиваемого времени

Снимок экрана: переключатель на узле и сведения.

Примечание.

При настройке потока событий источник, логика преобразования и назначение обычно добавляются вместе. По умолчанию при публикации потока событий серверные службы для приема данных и маршрутизации данных начинаются с Теперь соответственно. Однако прием данных может начинаться быстрее, чем маршрутизация данных, что приводит к приему некоторых данных в eventstream до полной инициализации маршрутизации. В результате эти данные могут не направляться в место назначения.

Типичным примером является источник CDC базы данных, где некоторые исходные данные моментального снимка могут оставаться в потоке событий без перенаправления в место назначения.

Чтобы устранить эту проблему, выполните следующие действия.

  1. При настройке Eventhouse (обработка событий перед приемом данных) или точки назначения Lakehouse снимите флажок Активировать сбор данных после добавления источника данных.

    Снимок экрана базы данных KQL без выбора активации сбора данных после добавления источника данных.

  2. Активируйте инжестию вручную после публикации Eventstream.

  3. Используйте параметр пользовательского времени, чтобы выбрать более раннюю метку времени, обеспечивая правильную обработку и маршрутизацию исходных данных.

    Снимок экрана: возобновление базы данных KQL.

Ниже приведена подробная таблица узлов, поддерживающих функции приостановки и возобновления, а также доступные варианты возобновления:

Узел Тип Поддерживает приостановку и возобновление работы Варианты резюме
Центры событий Azure Источник Да — При последней остановке потоковой передачи
-Сейчас
- Пользовательское время
Служебная шина Azure Источник Да — При последней остановке потоковой передачи
Центр Интернета вещей Azure Источник Да — При последней остановке потоковой передачи
-Сейчас
- Настраиваемое время
Пример данных Исходный код Да -Сейчас
База данных SQL Azure CDC Источник Да — При последней остановке потоковой передачи
База данных PostgreSQL CDC Источник Да — При последней остановке потоковой передачи
CDC базы данных MySQL Источник Да — При последней остановке потоковой передачи
Azure Cosmos DB CDC Источник Да — При последней остановке потоковой передачи
SQL Server на виртуальной машине база данных CDC Источник Да — При последней остановке потоковой передачи
CdC управляемого экземпляра SQL Azure Источник Да — При последней остановке потоковой передачи
Google Cloud Pub/Sub Источник Да — При последней остановке потоковой передачи
Потоки данных Amazon Kinesis Источник Да — При последней остановке потоковой передачи
Confluent Kafka Источник Да — При последней остановке потоковой передачи
Apache Kafka Источник Да — При последней остановке потоковой передачи
Amazon MSK Kafka Источник Да — При последней остановке потоковой передачи
Настраиваемое приложение Источник Нет
Источник событий рабочей области Fabric Источник Нет
События Fabric OneLake Источник Нет
События задания Fabric Источник Нет
хранилище blob-объектов Azure Источник Нет
Лейкхаус (гибрид 'озера данных' и хранилища) Назначение Да — При последней остановке потоковой передачи
-Сейчас
- Пользовательское время
Eventhouse (обработка событийных данных перед вводом) Назначение Да — При последней остановке потоковой передачи
-Сейчас
- Настраиваемое время
Кастомное приложение Назначение Нет
Eventhouse (Прямая инжекция) Назначение Нет
Активатор Ткани Назначение Да — При последней остановке потоковой передачи
-Сейчас
- Настроенное время
Производный поток Назначение Нет
Узел Тип Поддерживает приостановку и возобновление работы Варианты резюме
Пример данных Источник Да -Сейчас
Центры событий Azure Исходный код Да — При последней остановке потоковой передачи
-Сейчас
- Настраиваемое время
Центр Интернета вещей Azure Источник Да — При последней остановке потоковой передачи
-Сейчас
- Пользовательское время
Пользовательское приложение Источник Нет
Настраиваемое приложение Назначение Нет
Лейкхаус (гибридное решение 'хранилище и озеро данных') Назначение Да — При последней остановке потоковой передачи
-Сейчас
- Пользовательское время
База данных KQL (прямой ввод) Назначение Нет
База данных KQL (обработка событий перед включением) Назначение Да — При последней остановке потоковой передачи
-Сейчас
- Пользовательское время
Активатор Ткани Назначение Да — При последней остановке потоковой передачи
-Сейчас
- Настроенное время

Активация или деактивация всех узлов

Вы можете легко приостановить или возобновить весь трафик данных в потоке событий, выбрав параметр "Активировать все " или "Отключить все " в строке меню. При выборе Активировать всёдоступные параметры возобновления могут отличаться в зависимости от источников и назначений, настроенных в вашем потоке событий. Обратитесь к подробной таблице в предыдущем разделе, чтобы узнать о вариантах продолжения для каждого узла. Это действие возобновляет или приостанавливает весь трафик данных, поступающий в поток событий или из него. Он применяется только к узлам, поддерживающим функции приостановки и возобновления работы. Для узлов, которые в настоящее время не поддерживают эту функцию, трафик данных не может быть приостановлен.

Снимок экрана, показывающий, как одновременно активировать или деактивировать все узлы.