Настроить MySQL для интеграции в Azure Databricks

Это важно

Соединитель MySQL находится в общедоступной предварительной версии. Чтобы запросить доступ, обратитесь к группе учетной записи Azure Databricks.

Узнайте, как настроить MySQL для приема в Azure Databricks с помощью Lakeflow Connect. Соединитель MySQL использует репликацию двоичного журнала (binlog) для записи изменений из базы данных MySQL и добавочно синхронизирует их с Azure Databricks.

Требования

Перед настройкой MySQL для приема убедитесь, что среда соответствует следующим требованиям:

  • Поддерживаемые версии базы данных:
    • Amazon RDS: 5.7.44 и выше (как автономные, так и высокодоступные установки)
    • Amazon Aurora: 5.7.mysql_aurora.2.12.2 и более поздние версии (для настроек высокой доступности поддерживается только с основного экземпляра).
    • Amazon Aurora Serverless: поддерживается
    • Гибкие сервера базы данных Azure для MySQL: 5.7.44 и более поздние версии (автономные и развертывания с высокой доступностью)
    • MySQL в EC2: 5.7.44 и более поздних версий
    • GCP Cloud SQL: 5.7.44 и выше
  • Конфигурация двоичного ведения журнала: требуются следующие конфигурации сервера:
    • Включите двоичное ведение журнала.
    • Установите формат binlog на ROW.
    • Задайте образу строки binlog значение FULL.
  • Доступ к созданию пользователя MySQL с привилегиями репликации.
  • Сетевое подключение из Azure Databricks к экземпляру MySQL.

Общие сведения о задачах установки источника

Выполните следующие задачи, чтобы настроить MySQL для приема:

  1. Настройте параметры сервера MySQL , чтобы включить двоичное ведение журнала и задать правильный формат.

    Действия по настройке зависят от типа развертывания:

  2. Создайте пользователя MySQL с необходимыми привилегиями для репликации. См. Предоставление привилегий пользователю MySQL.

  3. Настройте сеть , чтобы разрешить Azure Databricks подключаться к экземпляру MySQL. Это может включать настройку правил брандмауэра, групп безопасности или пиринга сети.

    Сведения о IP-адресах для списка разрешений см. в разделе "Настройка параметров брандмауэра для Базы данных SQL Azure ".

Поддержка реплики чтения

Коннектор MySQL поддерживает получение данных с реплик для чтения для различных типов развертывания.

  • Amazon RDS для MySQL
  • База данных Azure для MySQL
  • MySQL в EC2

Предупреждение

Соединитель не поддерживает прием данных из реплик для чтения Amazon Aurora MySQL. Необходимо подключиться к основному экземпляру для развертываний Aurora.

Использование реплики чтения может снизить нагрузку на основную базу данных. Однако между первичной базой данных и репликой может возникнуть задержка репликации, которая может повлиять на свежесть данных.

  • Last updated on