Добавьте источник CDC Azure Cosmos DB в поток событий

В этой статье описаны шаги добавления источника Change Data Capture из Azure Cosmos DB (Azure Cosmos DB для NoSQL) в поток событий.

Соединитель источника отслеживания изменений данных Azure Cosmos DB (CDC) для Microsoft Fabric eventstreams позволяет зафиксировать моментальный снимок текущих данных в базе данных Azure Cosmos DB. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. После записи изменений в потоке событий вы можете обрабатывать эти данные CDC в режиме реального времени и отправлять их в разные места назначения в Fabric для дальнейшей обработки или анализа.

Предварительные условия

• Доступ к рабочей области с емкостью Fabric или типом рабочей области Fabric Trial, имея разрешения участника или выше.
• Доступ к учетной записи и базе данных Azure Cosmos DB для NoSQL.
• Ваша Azure Cosmos DB для базы данных NoSQL должна быть общедоступной, а не за брандмауэром или защищенной в виртуальной сети. Если он находится в защищенной сети, подключитесь к нему с помощью инъекции виртуальной сети соединителя Eventstream.
• Если у вас нет потока событий, создайте поток событий.

Получение сведений о подключении с портала Azure

Метки для элементов, которые необходимо собрать с портала Azure, отображаются на следующих шагах. Вам всегда нужен универсальный код ресурса (URI) конечной точки в формате, например https://<account>.<api>.azure.com:<port>/, а также первичный ключ и названия базы данных и идентификаторы элементов (ID), для которых требуется собирать данные.

1. На странице портала Azure для вашей учетной записи Azure Cosmos DB в области навигации слева выберите Keys в разделе Settings.

2. На странице "Ключи" скопируйте URI и значения первичного ключа, которые будут использоваться для настройки подключения к потоку событий.

   

3. На странице Overview на портале Azure для вашей учетной записи Azure Cosmos DB отметьте базу данных и элемент ID, для которых необходимо собрать данные.

   

Добавление Azure Cosmos DB (CDC) в качестве источника

Если вы еще не добавили источник в поток событий, выберите плитку "Подключить источники данных ". Вы также можете выбрать Добавить источник>Подключить источники данных на ленте.

Если вы добавляете источник в уже опубликованный поток событий, переключитесь в режим редактирования . На ленте выберите Добавить источник>Подключить источники данных.

На странице Выберите источник данных найдите элемент и выберите Connect на плитке Azure Cosmos DB (CDC).

Настройка и подключение к Azure Cosmos DB (CDC)

1. На экране Connect в разделе Connection выберите Новое подключение, чтобы создать облачное соединение с базой данных Azure Cosmos DB.

   

2. На экране параметров подключения введите следующие сведения:

   • Cosmos DB Endpoint: введите URI или конечную точку для учетной записи Cosmos DB, скопированной на портале Azure.
   • Имя подключения: автоматически создано или введите новое имя для этого подключения.
   • Account key: Введите первичный ключ для учетной записи Azure Cosmos DB, скопированной на портале Azure.

   

3. Нажмите Подключиться.

4. Укажите следующие сведения для ресурсов Azure Cosmos DB.

   • Container ID: Введите имя контейнера или таблицы Azure Cosmos DB, к которой требуется подключиться.
   • Database: Введите имя базы данных Azure Cosmos DB.
   • Политика смещения: выберите, следует ли начинать чтение самых ранних или последних смещения, если фиксация отсутствует.

Сведения о потоке или источнике

1. На странице "Подключение" выполните одно из этих действий на основе того, используете ли вы поток событий или концентратор Real-Time.

   • Eventstream:

     В области сведений о источнике справа выполните следующие действия:

     1. Чтобы изменить имя источника, нажмите кнопку Карандаш.

     2. Обратите внимание, что имя потока событий и имя Stream доступны только для чтения.

   • центрReal-Time:

     В разделе сведений о потоке справа выполните следующие действия.

     1. Выберите рабочую область Fabric где нужно создать поток событий.

     2. Для имени eventstream нажмите кнопку «Карандаш» и введите название для eventstream.

     3. Значение имени потока автоматически создается шляхом добавления -stream к имени eventstream. Этот поток отображается на странице "Все потоки данных " концентратора в режиме реального времени, когда мастер завершит работу.

2. Нажмите кнопку "Далее" в нижней части страницы "Настройка ".

Проверка и подключение

На экране "Обзор и подключение" просмотрите сводку и выберите "Добавить (Eventstream) или "Connect (Real-Time hub).

Просмотр обновленного потока событий

1. Вы увидите источник Azure Cosmos DB (CDC), добавленный в поток событий в режиме Edit. Выберите Publish для публикации изменений и начала потоковой передачи данных CDC Azure Cosmos DB в поток событий.

   

2. Вы видите поток событий в режиме реального времени. Нажмите кнопку "Изменить " на ленте, чтобы вернуться в режим редактирования, чтобы обновить поток событий.

   

Связанный контент

Другие соединители:

• Потоки данных Amazon Kinesis
• Центры событий Azure
• Центр Интернета вещей Azure
• Фиксирование изменений данных в базе данных Azure SQL (CDC)
• Confluent Kafka
• Пользовательская конечная точка
• Google Cloud Pub/Sub
• MySQL CDC
• PostgreSQL база данных CDC
• Пример данных
• события Azure Blob Storage
• Fabric событие рабочей области