Поделиться через


Добавление источника CDC управляемого экземпляра SQL Azure в поток событий

В этой статье показано, как добавить источник Change Data Capture (CDC) управляемого экземпляра SQL Azure в поток событий.

Соединитель источника CDC для Управляемого экземпляра SQL Azure для потоков событий Microsoft Fabric позволяет снимать моментальный снимок текущих данных в базе данных Управляемого экземпляра SQL. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. После записи изменений в потоке событий вы можете обрабатывать эти данные CDC в режиме реального времени и отправлять их в разные места назначения в Fabric для дальнейшей обработки или анализа.

Замечание

Этот источник не поддерживается в следующих регионах возможностей рабочей области: Запад США 3, Запад Швейцарии.

Предпосылки

  • Доступ к рабочей области в режиме лицензии на емкость Fabric или в режиме пробной лицензии с разрешениями Контрибьютора или более высокого уровня.
  • Функционирующая база данных Управляемого экземпляра Azure SQL.
  • Ваш управляемый экземпляр Azure SQL должен включать общедоступную конечную точку и не находиться за брандмауэром или быть защищенным в виртуальной сети.
  • CDC включён в вашем Управляемом экземпляре SQL Azure после выполнения хранимой процедуры sys.sp_cdc_enable_db. Дополнительные сведения см. в разделе "Включение и отключение записи измененных данных".

Включите общедоступную конечную точку в вашем управляемом экземпляре Azure SQL

Перейдите к портал Azure, откройте управляемый экземпляр SQL Azure, выберите "Сеть" и включите общедоступную конечную точку.

Снимок экрана: страница

Включите CDC в управляемом экземпляре Azure SQL

  1. Включите CDC для базы данных.

    EXEC sys.sp_cdc_enable_db; 
    
  2. Включите CDC для таблицы, используя параметр роли контроля доступа. В этом примере MyTable — имя таблицы SQL.

    EXEC sys.sp_cdc_enable_table 
       @source_schema = N'dbo', 
       @source_name   = N'MyTable', 
       @role_name     = NULL 
    GO 
    

    После успешного выполнения запроса вы включили CDC в управляемом экземпляре Azure SQL.

    Снимок экрана: включена функция cdc.

Добавьте управляемый экземпляр SQL Azure CDC в качестве источника

  1. В системе Fabric аналитики в реальном времени выберите Eventstream, чтобы создать новый поток событий.

    Снимок экрана: создание нового потока событий.

  2. На следующем экране выберите "Добавить внешний источник".

    Снимок экрана: выбор

Настройка и подключение к управляемому экземпляру SQL Azure CDC

  1. На странице "Подключение" выберите "Создать подключение".

    Снимок экрана: выбор ссылки

  2. В разделе "Параметры подключения" введите следующие значения для SQL Server на виртуальной машине:

    • Сервер: введите конечную точку из портала Azure, заменив запятую между узлом и портом двоеточием. Например, если ваша конечная точка — xxxxx.public.xxxxxx.database.windows.net,3342, в поле xxxxx.public.xxxxxx.database.windows.net:3342 введите .

      Снимок экрана: страница

    • База данных. Введите имя базы данных, к которой вы хотите подключиться в Управляемый экземпляр SQL Azure.

      Снимок экрана: раздел параметров подключения на странице

  3. Прокрутите вниз и в разделе учетных данных подключения выполните следующие действия.

    • В поле "Имя подключения" введите имя подключения.

    • Для типа проверки подлинности выберите "Базовый".

      Замечание

      В настоящее время потоки событий Fabric поддерживают только обычную проверку подлинности.

    • Введите имя пользователя и пароль для SQL Server на виртуальной машине.

  4. Выберите "Подключиться" в нижней части страницы.

  5. Теперь на странице Connect выберите Все таблицы или Введите имя(имена) таблиц. Если выберете последний вариант, укажите таблицы, используя список полных идентификаторов таблиц, разделённых запятыми (schemaName.tableName), или допустимые регулярные выражения. Рассмотрим пример.

    • Используйте dbo.test.*, чтобы выбрать все таблицы, имена которых начинаются с dbo.test.
    • Используйте dbo\.(test1|test2) для выбора dbo.test1 и dbo.test2.

    Вы можете смешивать оба формата с помощью запятых. Можно ввести до 100 таблиц, причем каждое имя таблицы (включая имя схемы) ограничено 128 символами, если используется полный идентификатор таблицы напрямую.

  6. Вы можете развернуть дополнительные параметры, чтобы настроить режим обработки десятичных знаков, который указывает, как соединитель обрабатывает значения столбцов DECIMAL и NUMERIC.

    • Precise: представляет значения, использующие точные десятичные типы (например, Java BigDecimal), чтобы обеспечить полную точность и точность представления данных.
    • Double: преобразует значения в числа с плавающей запятой двойной точности. Это повышает удобство использования и производительность, но может привести к потере точности.
    • String: кодирует значения в виде форматированных строк. Это упрощает использование в последующих системах, но приводит к потере семантической информации о исходном числовом типе.
  7. Нажмите кнопку Далее.

    Снимок экрана: выбор параметра

  8. На странице "Рецензирование и подключение" просмотрите сводку и нажмите кнопку "Подключить".

    Снимок экрана: выбор кнопки

Просмотр обновленного потока событий

Вы можете увидеть источник Azure SQL MI DB (CDC), добавленный в поток событий, в режиме редактирования.

Снимок экрана добавленного источника CDC Azure SQL MI DB в режиме

Чтобы внедрить этот недавно добавленный источник управляемого экземпляра Azure SQL, выберите Опубликовать. После выполнения этих действий источник управляемого экземпляра SQL Azure доступен для визуализации в режиме реального времени.

Снимок экрана источника Azure SQL MI DB CDC, добавленного в режиме живого просмотра.

Другие соединители: