Настройте PostgreSQL в активности копирования

В этой статье описывается, как использовать действие копирования в конвейерах для копирования данных из PostgreSQL и обратно.

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

Общее

Обратитесь к руководству по настройке, чтобы сконфигурировать вкладку "Общие параметры".

Источник

Перейдите на вкладку Источник, чтобы настроить источник операции копирования. См. следующее содержимое для подробной конфигурации.

снимок экрана: вкладка источника и список свойств.

Следующие три свойства являются обязательными:

  • Подключение: выберите подключение к PostgreSQL из списка подключений. Если подключение отсутствует, создайте новое подключение PostgreSQL.
  • тип подключения: выберите PostgreSQL.
  • Используйте запрос: выберите таблицу или запрос .

    • Если выбрать Таблицу:

      • таблица: укажите имя таблицы для чтения данных. Выберите таблицу из раскрывающегося списка или выберите Введите вручную, чтобы ввести ее.

        Снимок экрана, показывающий Use query - Table.

    • Если выбрать запрос:

      • Запрос: укажите пользовательский SQL запрос для чтения данных.

        Снимок экрана: использование запроса — запрос.

        Заметка

        Имена схем и таблиц чувствительны к регистру. Заключите их в "" (двойные кавычки) в запросе.

В разделе Advancedможно указать следующие поля:

  • время ожидания запроса (минуты): укажите время ожидания, прежде чем завершать попытку выполнить команду и создать ошибку, значение по умолчанию — 120 минут. Если для этого свойства задан параметр, допустимые значения имеют интервал времени, например "02:00:00" (120 минут). Дополнительные сведения см. в разделе CommandTimeout.
  • Дополнительные столбцы: добавьте дополнительные столбцы данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего варианта.

Назначение (предварительная версия)

Следующие свойства поддерживаются для PostgreSQL на вкладке "Назначение" действия копирования.

Требуются следующие свойства:

  • Подключение: выберите подключение к PostgreSQL из списка подключений.
  • Тип подключения: Select PostgreSQL (предварительная версия).
  • Таблица: укажите имя таблицы для записи данных. Выберите таблицу из раскрывающегося списка или выберите Введите вручную, чтобы ввести имя схемы и таблицы.

В разделе Advancedможно указать следующие поля:

  • Скрипт предварительного копирования: укажите SQL-запрос для выполнения действия копирования перед записью данных в PostgreSQL в каждом запуске. Это свойство можно использовать для очистки предварительно загруженных данных.
  • Время ожидания пакетной операции записи: укажите время ожидания операции вставки пакета до истечения времени ожидания. Допустимое значение — интервал времени. Значение по умолчанию — 00:02:00.
  • Размер пакета записи: укажите количество строк для вставки в таблицу PostgreSQL на пакет. Допустимое значение — целое число (число строк). Новый пакет будет создан, когда текущий пакет достигает размера пакета записи. Значение по умолчанию — 50000.
  • Максимальное число одновременных подключений. Укажите верхний предел одновременных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений. Допустимое значение — целое число.

Отображение

Сведения о конфигурации вкладки сопоставления см. в разделе Настройка сопоставлений на вкладке сопоставления.

Параметры

Для настройки вкладки перейдите к Настройка других параметров на вкладке "Параметры".

Сопоставление типов данных для PostgreSQL

При копировании данных из PostgreSQL следующие сопоставления используются из типов данных PostgreSQL к промежуточным типам данных, используемым службой внутри службы.

Тип данных PostgreSQL Тип данных временной службы
smallint Int16
Целое число Int32
bigint Int64
десятичная (точность <= 28) Decimal
десятичная (точность > 28) Не поддерживается
числовой Decimal
real Single
double Double
smallserial Int16
серийный Int32
bigserial Int64
money Decimal
char(n) String
varchar(n) String
text String
байта Byte[]
timestamp DateTime
метка времени с часовым поясом DateTime
date DateTime
Время TimeSpan
время с временной зоной DateTimeOffset
interval TimeSpan
boolean Boolean
точка String
линия String
lseg String
коробка String
path String
polygon String
круг String
Сидр String
инет String
macaddr String
macaddr8 String
tsvector String
tsquery String
uuid Гид
Json String
jsonb String
массив String
кусочек Byte[]
битовая переменная Byte[]
xml String
целое число[] String
text[] String
массив числовых значений[] String
дата[] String
Диапазон String
bpchar String

При копировании данных в PostgreSQL используются следующие сопоставления промежуточных типов данных, которые служба использует для внутреннего использования, с типами данных PostgreSQL.

Промежуточный тип данных Тип данных PostgreSQL
Int16 smallint
Int32 Целое число
Int64 bigint
Single real
Double двойная точность
Decimal числовой, денежный
Boolean boolean
String text, char(n), varchar(n), name, citext, json, jsonb, xml, inet, cidr, macaddr, tsvector, tsquery, point, line, lseg, box, path, polygon, circle, int4range, int8range, numrange, daterange, tsrange, tstzrange, integer[]
массив байтов; bytea, bit(n), varbit
Date date
TimeSpan время, интервал
DateTimeOffset timetz, timestamptz
DateTime timestamp
GUID uuid

Сводка таблицы

В следующей таблице содержатся дополнительные сведения о действии копирования в PostgreSQL.

Исходная информация

Имя Описание Ценность Обязательно Свойство скрипта JSON
Подключение Подключение к исходному хранилищу данных. < ваше подключение PostgreSQL > Да связь
Тип подключения Тип исходного подключения. PostgreSQL Да /
Используйте запросы Способ чтения данных. Примените таблицу для чтения данных из указанной таблицы или применения запроса для чтения данных с помощью запросов SQL. • таблицы
• Запрос		 Да • typeProperties (в typeProperties ->source)
  -схема
  - стол
•запрос
время ожидания запроса (минуты) Время ожидания перед завершением попытки выполнения команды и создания ошибки по умолчанию составляет 120 минут. Если для этого свойства задан параметр, допустимые значения имеют интервал времени, например "02:00:00" (120 минут). Дополнительные сведения см. в разделе CommandTimeout. интервал времени Нет queryTimeout
Дополнительные столбцы Добавьте дополнительные столбцы данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего варианта. •Имя
•Ценность		 Нет дополнительныеКолонки:
•имя
•ценность

Сведения о назначении (предварительная версия)

Имя Описание Ценность Обязательно Свойство скрипта JSON
Подключение Подключение к целевому хранилищу данных. < ваше подключение PostgreSQL > Да связь
таблица Имя таблицы для записи данных. Выберите таблицу из раскрывающегося списка или выберите Введите вручную, чтобы ввести имя схемы и таблицы. < имя таблицы > Да typeProperties:
•схема
•таблица
сценарий предварительного копирования SQL-запрос для выполнения действия копирования перед записью данных в PostgreSQL в каждом запуске. Это свойство можно использовать для очистки предварительно загруженных данных. < скрипт предварительного копирования > Нет preCopyScript
Поведение при записи Определяет поведение записи. вставить (по умолчанию) Нет writeBehavior
размер пакета записи Количество строк для вставки в таблицу PostgreSQL на пакет. Допустимое значение — целое число (число строк). < Целое число >
50000 (по умолчанию)		 Нет writeBatchSize
время ожидания выполнения пакета Время ожидания завершения операции пакетной вставки до истечения таймаута. Допустимое значение — интервал времени. < временной интервал >
00:02:00 (по умолчанию)		 Нет writeBatchTimeout
Максимальное число одновременных подключений Верхний предел одновременных подключений, установленных для хранилища данных в процессе выполнения задания. Допустимое значение — целое число. < Целое число > Нет maxConcurrentConnections

Связанное содержимое

  • Last updated on