Поделиться через

Добавьте Azure Cosmos DB CDC в качестве источника в хабе реального времени

В этой статье описывается, как добавить Azure Cosmos DB для NoSQL Change Data Capture (CDC) в качестве источника событий в Fabric Real-Time Hub.

Соединитель источника Change Data Capture (CDC) для Azure Cosmos DB позволяет сделать снимок текущих данных в базе данных Azure Cosmos DB. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. После записи изменений в потоке можно обрабатывать эти данные CDC в режиме реального времени и отправлять их в разные места назначения в Fabric для дальнейшей обработки или анализа.

Примечание.

Этот источник не поддерживается в следующих регионах возможностей рабочей области: Запад США 3, Запад Швейцарии.

Предварительные требования

  • Доступ к рабочей области в режиме лицензии емкости Fabric или режиме пробной лицензии с разрешениями уровня участника или выше.
  • Доступ к учетной записи Azure Cosmos DB и базе данных NoSQL.
  • База данных Azure Cosmos DB для NoSQL должна быть общедоступной, а не за брандмауэром или защищенной в виртуальной сети.
  • Если у вас нет потока событий, создайте поток событий.

Получение сведений о подключении из портала Azure

Метки для элементов, которые необходимо собрать из портала Azure, показаны в следующих шагах. Вам всегда нужен URI (универсальный код ресурса) конечной точки, в формате, таком как https://<account>.<api>.azure.com:<port>/, первичный ключ и название базы данных и идентификаторы элементов, для которых требуется собирать данные.

Примечание.

Azure Cosmos DB для NoSQL CDC использует режим последней версииканала изменений Azure Cosmos DB. Он фиксирует изменения записей в последней версии. Обратите внимание, что удаления не записываются в этом режиме.

  1. На странице в портале Azure для вашей учетной записи Azure Cosmos DB выберите «Ключи» в разделе «Параметры» в левой части навигации.

  2. На странице "Ключи" скопируйте URI и значения первичного ключа, которые будут использоваться для настройки подключения к потоку событий.

    Снимок экрана URI и первичного ключа на странице ключей Azure Cosmos DB в портале Azure.

  3. На странице Обзор портала Azure для вашей учетной записи Azure Cosmos DB обратите внимание на базу данных и ID элемента, для которых требуется собрать данные.

    Снимок экрана: список контейнеров для учетной записи API NoSQL Azure Cosmos DB.

Получение событий из CDC Azure Cosmos DB

События из Azure Cosmos DB CDC можно передавать в хаб реального времени одним из следующих способов:

Страница «Источники данных»

  1. Войдите в Microsoft Fabric.

  2. Если вы видите Power BI в нижнем левом углу страницы, переключитесь на рабочую нагрузку Fabric, выбрав сначала Power BI, а затем Fabric.

    снимок экрана, показывающий, как перейти к рабочей нагрузке Fabric.

  3. Выберите режим реального времени на левой панели навигации.

    снимок экрана, показывающий, как запустить подключение к источнику данных.

  4. На странице центра реального времени выберите + Источники данных в разделе Подключить к в меню навигации слева.

    Снимок экрана: страница источников данных в центре Real-Time.

    Вы также можете добраться до страницы источников данных на странице Real-Time концентратора , нажав кнопку +Добавить данные в правом верхнем углу.

    Снимок экрана: кнопка

Используйте инструкции из раздела Добавление CDC Azure Cosmos DB в качестве источника.

Страница источников Майкрософт

  1. В центре реального времени выберите источники Майкрософт.

  2. В раскрывающемся списке "Источник" выберите Azure Cosmos DB (CDC).

  3. Для подписки выберите подписку Azure, которая имеет группу ресурсов с вашей учетной записью Cosmos DB.

  4. Для группы ресурсов выберите группу ресурсов, которая содержит вашу учетную запись Cosmos DB.

  5. В регионе выберите расположение, где находится Cosmos DB.

  6. Теперь переместите указатель мыши на имя источника CDC Cosmos DB, который требуется подключить к концентратору реального времени в списке баз данных, и нажмите кнопку "Подключить" или нажмите кнопку "Подключить". (многоточие) и нажмите кнопку "Подключить".

    Снимок экрана: страница источников Майкрософт с фильтрами для отображения CdC Cosmos DB и кнопки подключения.

    Чтобы настроить сведения о подключении, используйте шаги из раздела "Добавление CDC Azure Cosmos DB как источника". Пропустите первый шаг выбора Azure Cosmos DB CDC в качестве исходного типа в мастере "Добавить источник".

Добавьте Azure Cosmos DB CDC в качестве источника

  1. На странице "Подключение" выберите "Создать подключение".

    Снимок экрана: страница

  2. В разделе параметров подключения укажите конечную точку Cosmos DB. Введите URI или конечную точку для учетной записи Cosmos DB, скопированной из портал Azure.

    Снимок экрана: раздел

  3. Разверните дополнительные параметры и выполните следующие действия.

    1. Для числа повторных попыток укажите максимальное количество раз, которое коннектор должен повторно передавать запрос в базу данных Cosmos DB, если запрос завершится восстанавливаемой ошибкой.

    2. Чтобы включить передачу функции AVERAGE, укажите, должен ли соединитель передавать агрегатную функцию AVG в базу данных Cosmos DB.

    3. Чтобы включить сортировку для нескольких столбцов, укажите, должен ли коннектор разрешать передачу нескольких столбцов в базу данных Cosmos DB при указании в выражении ORDER BY запроса SQL.

      Снимок экрана: дополнительные параметры настройки соединителя Azure Cosmos DB.

  4. Прокрутите вниз и в разделе учетных данных подключения выполните следующие действия.

    1. Выберите существующее подключение и сохраните параметр "Создать новое подключение" по умолчанию.
    2. Чтобы создать подключение, введите следующие значения:

      1. В поле "Имя подключения" введите имя подключения.

      2. Для типа проверки подлинности выберите ключ учетной записи.

      3. В поле "Ключ учетной записи" введите значение ключа, сохраненное ранее.

      4. Нажмите Подключиться.

        Снимок экрана: раздел учетных данных подключения на странице

  5. Теперь на странице "Подключение" выполните следующие действия:

    1. Укажите идентификатор контейнера в учетной записи Azure Cosmos DB.

    2. В разделе "Сведения о потоке" справа выберите рабочую область Fabric, в которой вы хотите сохранить поток событий, создаваемый мастером.

    3. Для имени потока событий введите имя потока событий. Мастер создает поток событий с выбранной CDC-системой Azure Cosmos DB в качестве источника.

    4. Имя потока автоматически создается путем добавления -stream к имени потока событий. Вы можете увидеть этот поток на странице «Все потоки данных в реальном времени» в центре обработки данных в режиме реального времени, когда мастер завершит свою работу.

    5. Выберите Далее.

      Снимок экрана, на котором показана заполненная страница подключения мастера добавления источника.

  6. На экране "Просмотр и подключение" просмотрите сводку и нажмите кнопку "Создать источник".

    Снимок экрана: заполненный мастер добавления источника и страница подключения.

Просмотр сведений о потоке данных

  1. На странице "Проверка и подключение" при выборе "Открыть поток событий" мастер открывает поток событий, созданный для вас с выбранным источником CDC Azure Cosmos DB. Чтобы закрыть мастер, нажмите кнопку Закрыть или X* в правом верхнем углу страницы.

    Снимок экрана: страница проверки и подключения после успешного создания источника.

  2. В концентраторе реального времени выберите все потоки данных. Чтобы просмотреть новый поток данных, обновите страницу "Все потоки данных".

    Снимок экрана: страница

    Подробные инструкции см. в разделе «Просмотр сведений о потоках данных в Fabric Real-Time Hub».

Связанный контент

Дополнительные сведения об использовании потоков данных см. в следующих статьях: