Поделиться через


Добавить Azure Blob Storage в поток событий

В этой статье показано, как добавить источник событий Azure Blob Storage в поток событий. Событие — это наименьший объем информации, который полностью описывает то, что произошло в системе. События в Azure Blob Storage возникают при создании, замене или удалении объектов Blob. Потоки событий Microsoft Fabric позволяют связывать события из хранилища Blob-объектов с событиями Fabric в концентраторе событий в реальном времени.

При добавлении событий Azure Blob Storage как источника потока событий, они автоматически создают системные события в вашей учетной записи Azure Blob Storage и связывают их с событиями Fabric в узле реального времени. Затем эти события можно превратить в непрерывные потоки данных и трансформировать их перед маршрутизацией в различные назначения в Fabric.

Потоки событий Fabric поддерживают следующие типы событий хранилища BLOB:

Имя события Описание
Microsoft.Storage.Blob создан Активируется, когда создаётся или заменяется блоб.
Microsoft.Storage.BlobУдалён Триггер срабатывает при удалении объекта BLOB.
Microsoft.Storage.BlobRenamed Срабатывает, когда объект "blob" переименовывается.
Изменился уровень хранилища Blob Срабатывает при изменении уровня доступа к BLOB.
Microsoft.Storage.ДиректорияСоздана Активируется при создании каталога.
Microsoft.Storage.DirectoryRenamed Активируется при переименовании каталога.
Microsoft.Storage.AsyncOperationInitiated (Асинхронная операция начата) Активируется при запуске операции, связанной с перемещением или копированием данных из архива в горячие или холодные уровни.
Microsoft.Storage.КаталогУдалён Активируется при удалении каталога.
Microsoft.Storage.ПолитикаИнвентаризацииОблачныхОбъектовЗавершена Активируется при завершении выполнения инвентаризации для правила, определяющего политику инвентаризации.
Политика жизненного цикла Microsoft.Storage завершена Активируется при выполнении действий, определенных политикой управления жизненным циклом.

Для получения дополнительной информации о доступных типах событий см. сервис Azure Blob Storage как источник для сетки событий.

Примечание.

Соединитель событий хранилища BLOB-объектов Azure не поддерживается в следующих регионах емкости рабочей области: Центральный США, Западный Центральный Германия, Южно-Центральный США, Западный США 2, Западный США 3, Западная Индия.

Непоточные и поточные события

События в хранилище BLOB-объектов Azure являются дискретными событиями с четкими начальной и конечной точками. Центры реального времени Fabric могут записывать эти события в двух форматах:

  • Не транслируемые события. Эти события представлены в их необработанном формате как дискретные события. Если события Azure Blob Storage не передаются в поток событий, они не связаны с ним напрямую, и поток по умолчанию не создается.

    Этот статус указывает, что события относятся к событиям Fabric в узле реального времени и ожидают дальнейших действий. Действия включают создание оповещений с помощью активатора Fabric, выполняющего задачи Fabric, такие как конвейер или записная книжка, на вкладке событий Fabric в узле реального времени.

    Скриншот, показывающий нестриминговые события Azure Blob Storage с кнопкой «Стримить события».

  • Транслированные события. Эти события преобразуются в непрерывные события, обеспечивая преобразование в режиме реального времени и маршрутизацию в различные назначения в Fabric для дальнейшего анализа. В потоке событий при нажатии кнопки "Потоковая передача событий" на не преобразованном в поток источнике в Хранилище BLOB-объектов Azure, события преобразуются в непрерывные. Затем потоку событий назначается поток по умолчанию, что позволяет добавлять операции и направлять его к другим пунктам назначения в Fabric.

    Снимок экрана, показывающий события потоков Azure Blob Storage в потоке событий.

Предварительные условия

  • Доступ к рабочей области в режиме лицензии на емкость Fabric или в режиме пробной лицензии с разрешениями Контрибьютора или более высокого уровня.
  • Доступ к учетной записи Azure Blob Storage StorageV2 (общего назначения версии 2), BlockBlobStorage или BlobStorage. Тип хранилища (общего назначения версии 1) не поддерживает интеграцию с потоками событий Fabric.
  • Если у вас нет потока событий, создайте поток событий.

Добавить события в качестве источника из хранилища BLOB-объектов Azure

Если вы еще не добавили источник в поток событий, выберите "Использовать внешнюю плитку источника ".

Снимок экрана: выбор плитки

Если вы добавляете источник в уже опубликованный поток событий, перейдите в режим редактирования, выберите "Добавить источник" на ленте и выберите "Внешние источники".

Снимок экрана: выбор источника в меню

На странице "Выбор источника данных" найдите и выберите "Подключиться" на плитке событий Azure Blob Storage.

Снимок экрана, показывающий выбор событий Хранилище Azure Blob в качестве типа источника в окне выбора источника данных.

Настройка и подключение к событиям в объектном хранилище Azure Blob Storage

  1. На экране "Подключиться" выполните следующие действия:

    1. Выберите подписку Azure, к которой привязана учетная запись хранения.
    2. Выберите учетную запись хранения, которую вы хотите записать в потоке событий.
    3. Затем нажмите кнопку "Далее " в нижней части страницы.

    Снимок экрана: экран

  2. На экране "Обзор и подключение" просмотрите сводку и нажмите кнопку "Подключиться", чтобы завершить настройку для событий хранилища Blob-объектов Azure.

    Скриншот экрана

  3. Затем на следующей странице нажмите кнопку "Добавить ", чтобы добавить источник в поток событий.

    Снимок экрана: экран

Просмотр обновленного потока событий

  1. После создания подключения вы увидите источник событий Azure Blob Storage, добавленный в поток событий в режиме редактирования. Выберите «Опубликовать», чтобы опубликовать поток событий и начать запись событий в хранилище BLOB-объектов Azure.

    Снимок экрана: источник событий Azure Blob Storage, добавленный в eventstream.

    Примечание.

    У узла Eventstream в редакторе отсутствует созданный по умолчанию поток. Это связано с тем, что события хранилища BLOB-объектов по-прежнему находятся в виде дискретных событий и еще не преобразуются в поток или подключены к потоку событий.

  2. Если вы хотите преобразовать события рабочей области Fabric, откройте поток событий и выберите "Изменить ", чтобы войти в режим редактирования. Затем можно добавить операции для преобразования событий рабочей области Fabric или перенаправления их в место назначения, например Lakehouse.

    Снимок экрана, на котором показан поток событий в режиме реального времени.

Трансформация событий Azure Blob Storage

После того как вы свяжете события Azure Blob Storage с событиями Fabric в Real-Time Hub, эти события можно преобразовать в поток и выполнить преобразования внутри потоков событий.

  1. После того как вы добавили источник событий Azure Blob Storage в режиме Редактировать, выберите «поток событий» в «источнике», чтобы преобразовать события Blob Storage в поток данных.

    Снимок экрана нестримингового источника событий в режиме редактирования с выделенными событиями Stream.

  2. Ответьте "Да " всплывающему окну, который запрашивает, следует ли передавать события хранилища BLOB-объектов в поток событий.

    Снимок экрана: всплывающее окно подтверждения для событий потоковой передачи.

  3. В редакторе в узле eventstream создается поток по умолчанию, что указывает на преобразование событий хранилища BLOB-объектов в поток по умолчанию.

    Снимок экрана: поток событий в режиме редактирования, показывающий поток по умолчанию.

  4. Опубликуйте поток событий и убедитесь, что в BLOB-хранилище Azure активируется хотя бы одно событие, чтобы продолжить преобразование или маршрутизацию.

    Снимок экрана опубликованного потока событий в Режиме реального времени.

  5. Когда события начинают поступать в поток событий, введите Режим редактирования и добавьте операции для преобразования событий, поступающих из Blob хранилища. В следующем примере показано, что события хранилища BLOB-объектов агрегируются и направляются в базу данных KQL.

    Снимок экрана: преобразованный поток событий в режиме редактирования.

  6. После публикации изменений потоковые события из Хранилища Blob Azure преобразуются и направляются в назначенное место в Fabric.

    Снимок экрана: преобразованный поток событий в режиме реального времени, показывающий поток по умолчанию.

    Вы также можете просмотреть поток данных на вкладке «Мои потоки данных»центра Real-Time для проверки.

    Снимок экрана: поток событий, указанный в потоках данных в концентраторе реального времени.

Известные ограничения

  • В настоящее время сообщения об ошибках недоступны при возникновении ошибки в дискретных источниках событий.
  • В настоящее время функция предварительного просмотра данных недоступна для дискретных источников событий.