Настройка MySQL в процессе копирования

В этой статье описывается, как использовать действие копирования в конвейере для копирования данных из MySQL и из нее.

Этот соединитель поддерживает MySQL версии 5.5, 5.6, 5.7, 8.0, 8.1 и 8.2.

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

General

Ознакомьтесь с руководством по общим параметрам , чтобы настроить вкладку "Общие параметры".

Исходный материал

Следующие свойства поддерживаются для MySQL на вкладке "Источник " действия копирования.

Требуются следующие свойства:

  • Подключение. Выберите подключение MySQL из списка подключений. Если подключение отсутствует, создайте новое подключение MySQL, нажав кнопку "Создать".
  • Используйте запрос: выберите из таблицы или запроса.

    • Если выбрать таблицу:

      • Таблица. Укажите имя таблицы в базе данных MySQL для чтения данных. Выберите таблицу из раскрывающегося списка.

        Снимок экрана: использование запроса — таблица.

    • Если выбрать запрос:

      • Запрос. Укажите настраиваемый SQL-запрос для чтения данных. Например: SELECT * FROM MyTable.

        Снимок экрана: использование функции

В разделе "Дополнительно" можно указать следующие поля:

  • Дополнительные столбцы: добавьте дополнительные столбцы данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего варианта.

Назначение (предварительная версия)

Следующие свойства поддерживаются для MySQL на вкладке "Назначение" действия копирования.

Требуются следующие свойства:

  • Подключение. Выберите подключение MySQL из списка подключений. Если подключение не существует, создайте новое соединение MySQL.

  • Таблица. Выберите имя таблицы в базе данных MySQL.

В разделе "Дополнительно" можно указать следующие поля:

  • Скрипт предварительного копирования: укажите SQL-запрос для выполнения действия копирования перед записью данных в MySQL в каждом запуске. Это свойство можно использовать для очистки предварительно загруженных данных.

  • Время ожидания пакетной операции записи: укажите время ожидания операции вставки пакета до истечения времени ожидания. Допустимое значение — интервал времени. Значение по умолчанию — 00:00:30.

  • Размер пакета записи: укажите количество строк для вставки в таблицу MySQL на пакет. Допустимое значение — целое число (число строк). Новый пакет будет создан, когда текущий пакет достигнет размера пакета для записи. Значение по умолчанию — 10000.

  • Максимальное число одновременных подключений. Укажите верхний предел одновременных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений. Допустимое значение — целое число.

Картирование

Сведения о настройке вкладки "Сопоставление" см. в разделе "Настройка сопоставлений" на вкладке "Сопоставление".

Settings

Для настройки вкладки перейдите к Настройка других параметров на вкладке "Параметры".

Сопоставление типов данных для MySQL

При копировании данных из MySQL используются следующие сопоставления типов данных MySQL с промежуточными типами данных, используемыми службой для внутренних целей.

Тип данных MySQL Промежуточный тип данных
BIGINT Int64
BIGINT UNSIGNED (без знака) UInt64
BIT(1) UInt64
BIT(M), M>1 UInt64
БЛОБ массив байтов;
BOOL Логический
(Если TreatTinyAsBoolean=false, он сопоставляется с SByte. TreatTinyAsBoolean по умолчанию имеет значение true)
CHAR String
DATE DateTime
Дата и время DateTime
ДЕСЯТИЧНЫЙ Decimal
ДВОЙНОЙ Double
ДВОЙНАЯ ТОЧНОСТЬ Double
ENUM String
FLOAT Single
INT Int32
INT UNSIGNED (неизменяемое целое число с указанием, что оно без знака) Int64
ЦЕЛОЕ ЧИСЛО Int32
ЦЕЛОЕ ЧИСЛО БЕЗ ЗНАКА UInt32
JSON String
LONG VARBINARY массив байтов;
LONG VARCHAR (длинное текстовое поле) String
LONGBLOB массив байтов;
LONGTEXT String
MEDIUMBLOB массив байтов;
MEDIUMINT Int32
MEDIUMINT БЕЗ ЗНАКА UInt32
СРЕДНИЙТЕКСТ String
ЧИСЛОВОЙ Decimal
РЕАЛЬНЫЙ Double
УСТАНОВКА String
СМОЛЛИНТ Int16
СМОЛИНТ НЕЗНАКОВЫЙ (SMALLINT UNSIGNED) UInt16
ТЕКСТ String
TIME TimeSpan
TIMESTAMP DateTime
TINYBLOB массив байтов;
TINYINT SByte
TINYINT без знака Int16
TINYTEXT String
VARCHAR String
YEAR Integer

При копировании данных в MySQL следующие сопоставления используются из промежуточных типов данных, используемых службой внутри службы, к типам данных MySQL.

Промежуточный тип данных Тип данных MySQL
Boolean BOOL, BOOLEAN
Byte TINYINT
Int16 SMALLINT, ГОД
UInt16 СМОЛИНТ НЕЗНАКОВЫЙ (SMALLINT UNSIGNED)
Int32 MEDIUMINT, INT, INTEGER
UInt32 INT UNSIGNED, MEDIUMINT UNSIGNED
Int64 BIGINT
UInt64 BIGINT UNSIGNED (без знака)
Decimal ДЕСЯТИЧНЫЙ
Single FLOAT
Double ДВОЙНОЙ
String VARCHAR, CHAR, VARSTRING, TEXT, TINYTEXT, MEDIUMTEXT, LONGTEXT, ENUM, SET, JSON
массив байтов; БИНАРНЫЙ, ВАРБИНАРНЫЙ, БЛОБ, МАЛЫЙ БЛОБ, СРЕДНИЙ БЛОБ, ДЛИННЫЙ БЛОБ, БИТ, ГЕОМЕТРИЯ
Date DATE
DateTime DATETIME, TIMESTAMP
TimeSpan TIME
GUID GUID, UUID

Сводка таблицы

В следующих таблицах содержатся дополнительные сведения о действии копирования в MySQL.

Исходная информация

Имя Description Ценность Обязательно Свойство скрипта JSON
Подключение Ваше подключение к исходному хранилищу данных. < ваше подключение MySQL > Да connection
Использование запроса Способ чтения данных из MySQL. Примените таблицу для чтения данных из указанной таблицы или применения запроса к чтению данных с помощью запросов SQL. • Таблица
• Запрос		 Да /
таблица Имя таблицы в базе данных MySQL. < имя таблицы > нет tableName
Запрос Используйте пользовательский SQL-запрос для чтения данных. Например: SELECT * FROM MyTable. < SQL-запросы > нет query
Дополнительные столбцы Добавьте дополнительные столбцы данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего варианта. •Имя
•Ценность		 нет дополнительныеКолонки
•имя
•ценность

Сведения о назначении (предварительная версия)

Имя Description Ценность Обязательно Свойство скрипта JSON
Подключение Подключение к целевому хранилищу данных. < ваше подключение MySQL > Да connection
таблица Имя таблицы в базе данных MySQL. < имя таблицы > Да tableName
сценарий предварительного копирования SQL-запрос для выполнения действия копирования перед записью данных в MySQL в каждом запуске. Это свойство можно использовать для очистки предварительно загруженных данных. < скрипт предварительного копирования > нет preCopyScript
Поведение при записи Определяет поведение записи. вставить (по умолчанию) нет writeBehavior
размер пакета записи Количество строк для вставки в таблицу MySQL на пакет. Допустимое значение — целое число (число строк). < Целое число >
10000 (по умолчанию)		 нет writeBatchSize
время ожидания выполнения пакета Время ожидания завершения операции пакетной вставки до истечения таймаута. Допустимое значение — интервал времени. < временной интервал >
00:00:30 (по умолчанию)		 нет writeBatchTimeout
Максимальное число одновременных подключений Верхний предел одновременных подключений, установленных для хранилища данных в процессе выполнения задания. Допустимое значение — целое число. < Целое число > нет maxConcurrentConnections

Связанный контент

  • Last updated on