Добавление источника событий Azure Blob Storage в поток событий

В этой статье показано, как добавить источник событий Azure Blob Storage в поток событий. Событие — это наименьший объем информации, который полностью описывает то, что произошло в системе. Azure Blob Storage события инициируются при создании, замене или удалении Blob. Microsoft Fabric потоки событий позволяют связывать события Blob Storage с событиями Fabric в Real-Time Hub.

При добавлении событий Azure Blob Storage в качестве источника событий она автоматически создает системные события в учетной записи Blob Storage и связывает их с событиями Fabric в центре Real-Time. Затем эти события можно превратить в непрерывные потоки данных и трансформировать их перед направлением в различные пункты назначения в Fabric.

потоки событий Fabric поддерживают следующие типы событий Blob Storage:

Имя события Описание
Microsoft. Storage.BlobCreated Активируется, когда создаётся или заменяется блоб.
Microsoft. Storage.BlobDeleted Триггер срабатывает при удалении объекта BLOB.
Microsoft.Storage.BlobRenamed Срабатывает, когда объект "blob" переименовывается.
Microsoft. Storage.BlobTierChanged Срабатывает при изменении уровня доступа к BLOB.
Microsoft. Storage.DirectoryCreated Активируется при создании каталога.
Microsoft.Storage.DirectoryRenamed Активируется при переименовании каталога.
Microsoft. Storage.AsyncOperationInitiated Активируется при запуске операции, связанной с перемещением или копированием данных из архива в горячие или холодные уровни.
Microsoft.Storage.DirectoryDeleted Активируется при удалении каталога.
Microsoft. Storage.BlobInventoryPolicyCompleted Активируется при завершении выполнения инвентаризации для правила, определяющего политику инвентаризации.
Microsoft. Storage.LifecyclePolicyCompleted Активируется при выполнении действий, определенных политикой управления жизненным циклом.

Дополнительные сведения о доступных типах событий см. в разделе Azure Blob Storage в качестве источника сетки событий.

Примечание.

Соединитель событий Azure Blob Storage не поддерживается в следующих регионах вместимости рабочей области: Центральный США, Германия Центрально-Западная, Юг-Центральный США, Запад США2, Запад США3, Западная Индия.

Непоточные и поточные события

События в Azure Blob Storage — это дискретные события с четкими начальными и конечными точками. Fabric Real-Time хабы могут записывать эти события в двух форматах.

  • Не транслируемые события. Эти события представлены в их необработанном формате как дискретные события. Если события Azure Blob Storage не передаются в поток событий, они не подключены непосредственно к потоку событий, а поток по умолчанию не создается.

    Этот статус указывает, что события связаны с событиями Fabric в узле Real-Time и ожидают дальнейших действий. Действия включают создание оповещений с помощью Fabric Activator, которые выполняют элементы задания Fabric, такие как конвейер или записная книжка, на вкладке Fabric events в центре Real-Time.

    Снимок экрана, на котором показаны нестримированные события Azure Blob Storage с кнопкой для их потоковой передачи.

  • Транслированные события. Эти события преобразуются в непрерывные события, обеспечивая преобразование в режиме реального времени и маршрутизацию в различные назначения в Fabric для дальнейшего анализа. В контексте потока событий, нажав кнопку Поток событий на непотоковом источнике Azure Blob Storage, события преобразуются в непрерывные. Затем поток событий назначается потоком по умолчанию, позволяя добавлять операции и направлять его в другие назначения в Fabric.

    Скриншот, показывающий потоковые события Azure Blob Storage в потоке событий.

Предварительные условия

  • Доступ к рабочей области в режиме лицензии на емкость Fabric или в режиме пробной лицензии с разрешениями уровня "Contributor" или выше.
  • Доступ к учетной записи Azure Blob Storage StorageV2 (общего назначения версии 2), BlockBlobStorage или BlobStorage. Тип хранилища Storage (общего назначения версии 1) не поддерживает интеграцию с потоками событий Fabric.

Добавление событий Azure Blob Storage в качестве источника

Если вы еще не добавили источник в поток событий, выберите плитку "Подключить источники данных ". Вы также можете выбрать Добавить источник>Подключить источники данных на ленте.

Снимок экрана, показывающий выбор плитки для использования внешнего источника.

Если вы добавляете источник в уже опубликованный поток событий, переключитесь в режим редактирования . На ленте выберите Добавить источник>Подключить источники данных.

Снимок экрана: выборы для добавления внешних источников.

На странице Выбор источника данных найдите и выберите Подключить на плитке события Azure Blob Storage.

Screenshot, показывающий выбор событий Azure Blob Storage в качестве исходного типа в окне выбора источника данных.

Настройка и подключение к событиям Azure Blob Storage

  1. На экране "Подключиться" выполните следующие действия:

    1. Выберите подписку Azure с учетной записью хранения.
    2. Выберите учетную запись хранения, которую вы хотите записать в потоке событий.

    Снимок экрана: экран

Сведения о потоке или источнике

  1. На странице "Подключение" выполните одно из этих действий на основе того, используете ли вы поток событий или концентратор Real-Time.

    • Eventstream:

      В области сведений о источнике справа выполните следующие действия:

      1. Чтобы изменить имя источника, нажмите кнопку Карандаш.

      2. Обратите внимание, что имя потока событий и имя Stream доступны только для чтения.

    • центрReal-Time:

      В разделе сведений о потоке справа выполните следующие действия.

      1. Выберите рабочую область Fabric где нужно создать поток событий.

      2. Для имени eventstream нажмите кнопку «Карандаш» и введите название для eventstream.

      3. Значение имени потока автоматически создается шляхом добавления -stream к имени eventstream. Этот поток отображается на странице "Все потоки данных " концентратора в режиме реального времени, когда мастер завершит работу.

  2. Нажмите кнопку "Далее" в нижней части страницы "Настройка ".

Проверка и подключение

На экране "Обзор и подключение" просмотрите сводку и выберите "Добавить (Eventstream) или "Connect (Real-Time hub).

Просмотр обновленного потока событий

  1. После создания подключения вы увидите источник событий Azure Blob Storage, добавленный в поток событий в режиме Edit. Выберите Publish, чтобы опубликовать поток событий и начать запись событий Azure Blob Storage.

    Снимок экрана источника событий Azure Blob Storage, добавленного в поток событий.

    Примечание.

    У узла Eventstream в редакторе отсутствует созданный по умолчанию поток. Это связано с тем, что Blob Storage события по-прежнему находятся в виде дискретных событий и еще не преобразуются в поток или подключены к потоку событий.

  2. Если вы хотите преобразовать события рабочей области Fabric, откройте поток событий и выберите Edit, чтобы ввести режим Edit. Затем можно добавить операции для преобразования событий рабочей области Fabric или перенаправления их в место назначения, например Lakehouse.

    Снимок экрана, на котором показан поток событий в режиме реального времени.

Преобразование событий Azure Blob Storage

Связав события Azure Blob Storage с событиями Fabric в центре Real-Time, эти события можно преобразовать в поток и выполнить преобразования в потоках событий.

  1. После добавления источника событий Azure Blob Storage в режиме Edit выберите события Stream в источнике, чтобы преобразовать события Blob Storage в поток данных.

    Снимок экрана нестримингового источника событий в режиме редактирования с выделенными событиями Stream.

  2. Ответьте Yes всплывающему окну, который запрашивает, следует ли передавать события Blob Storage в поток событий.

    Снимок экрана: всплывающее окно подтверждения для событий потоковой передачи.

  3. В редакторе в узле eventstream создается поток по умолчанию, который показывает, что события Blob Storage преобразуются в поток по умолчанию.

    Снимок экрана: поток событий в режиме редактирования, показывающий поток по умолчанию.

  4. Publish поток событий и убедитесь, что в вашем Azure Blob Storage инициируется хотя бы одно событие, чтобы продолжить преобразование или маршрутизацию.

    Снимок экрана опубликованного потока событий в Режиме реального времени.

  5. Как только события начнут поступать в поток событий, введите режим редактирования и добавьте операции для преобразования событий Blob Storage. В следующем примере показано, что события Blob Storage объединяются и направляются в базу данных KQL.

    Снимок экрана: преобразованный поток событий в режиме редактирования.

  6. После публикации изменений потоковые события Azure Blob Storage преобразуются и направляются в назначенное место назначения в Fabric.

    Снимок экрана: преобразованный поток событий в режиме реального времени, показывающий поток по умолчанию.

    Вы также можете просмотреть поток данных на вкладке «Мои потоки данных»центра Real-Time для проверки.

    Снимок экрана: поток событий, указанный в потоках данных в концентраторе реального времени.

Известные ограничения

  • В настоящее время сообщения об ошибках недоступны при возникновении ошибки в дискретных источниках событий.
  • В настоящее время функция предварительного просмотра данных недоступна для дискретных источников событий.

Связанный контент

  • Last updated on