Изменение записи данных из базы данных SQL Azure с помощью задания копирования (предварительная версия)

В этом руководстве описывается, как использовать запись измененных данных (CDC) в задании копирования для эффективной репликации изменений данных из базы данных SQL Azure в место назначения. Это гарантирует, что данные назначения остаются актуальными автоматически. Обзор CDC в задании копирования см. в разделе "Изменение записи данных( CDC) в задании копирования.

Необходимые условия

Прежде чем начать, убедитесь, что у вас есть следующее:

  1. Убедитесь, что запись измененных данных (CDC) включена в базе данных и таблицах в поддерживаемом исходном хранилище. В этом случае это База данных SQL Azure.

    Снимок экрана: включение cdc db.

    Снимок экрана: включение таблиц cdc.

    Note

    • Мы рекомендуем включить CDC для всех таблиц, упомянутых выше.
    • Убедитесь, что supports_net_changes активирована.
    • Все столбцы в исходной таблице должны быть определены как захваченные столбцы по умолчанию.

    Дополнительные сведения см. в разделе Включение и отключение записи измененных данных — SQL Server | Microsoft Learn.

Создание задания копирования с помощью CDC базы данных SQL Azure

Выполните следующие действия, чтобы создать новое задание копирования для приема данных из базы данных SQL Azure через CDC в другую базу данных SQL Azure:

  1. Выберите +Создать элемент, щелкните значок "Копировать задание ", назовите задание копирования и нажмите кнопку "Создать".

    Снимок экрана, показывающий, куда перейти на главную страницу Data Factory и создать новое задание на копирование.

  2. Выберите хранилища данных для копирования данных. В этом примере выберите базу данных SQL Azure.

    Снимок экрана: выбор источника данных для задания копирования.

  3. Введите путь к серверу и учетные данные для подключения к базе данных SQL Azure. Вы можете безопасно копировать данные в среде виртуальной сети с помощью локального или шлюза виртуальной сети.

    Снимок экрана: место ввода учетных данных.

  4. Вы должны иметь четкое представление о том, для каких исходных таблиц включен механизм CDC. Выберите таблицы с включенным CDC для копирования.

    Таблицы с включенной функцией CDC: Снимок экрана, показывающий значок таблицы CDC.

    Таблицы без включения CDC: снимок экрана: значок таблицы cdc отсутствует.

    Снимок экрана: выбор таблиц cdc для задания копирования.

    Note

    • Таблицы Fabric Lakehouse в настоящее время не могут быть обнаружены для того, включена ли их CDF.

  5. Выберите целевое хранилище. В этом примере выберите другую базу данных SQL Azure.

    Снимок экрана, показывающий, где выбрать целевое хранилище для задания копирования.

  6. Метод update по умолчанию должен иметь значение Merge, и необходимые ключевые столбцы будут соответствовать первичному ключу, определенному в исходном хранилище по умолчанию.

    Снимок экрана: метод обновления для CDC.

  7. Выберите инкрементное копирование, и вы увидите, что инкрементный столбец для каждой таблицы не требуется для отслеживания изменений.

    Note

    Задание копирования изначально выполняет полную нагрузку и впоследствии выполняет добавочные копии в последующих запусках через CDC.

    Снимок экрана, где выбрать CDC.

  8. Просмотрите сводку задания, установите параметр запуска на "по расписанию" и выберите "Сохранить и запустить".

    Снимок экрана с местом для просмотра и сохранения новой задачи копирования.

    Note

    Убедитесь, что срок хранения журнала CDC превышает интервал между запланированными запусками; В противном случае измененные данные, захваченные CDC, могут быть потеряны, если они не обрабатываются в течение периода хранения.

  9. Задание копирования начнется немедленно. Первый запуск создаст начальный полный снимок состояния.

    Снимок экрана: панель заданий копирования, в которой можно отслеживать начальный полный моментальный снимок.

  10. Обновите исходные таблицы, вставляя, обновляя или удаляя строки.

    Снимок экрана: обновление строк.

  11. Снова запустите задание копирования, чтобы записать и реплицировать все изменения, включая вставку, обновление и удаление строк в место назначения.

    Снимок экрана: панель заданий копирования, в которой можно отслеживать запись и репликацию всех изменений.

Связанный контент

  • Last updated on