Настройка Google BigQuery при выполнении операции копирования

В этой статье описывается, как использовать действие копирования в конвейере для копирования данных из Google BigQuery и в нее.

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

General

Ознакомьтесь с руководством по общим параметрам , чтобы настроить вкладку "Общие параметры".

Исходный материал

Следующие свойства поддерживаются для Google BigQuery на вкладке "Источник " действия копирования.

Требуются следующие свойства:

  • Подключение. Выберите подключение Google BigQuery из списка подключений. Если подключение не существует, создайте новое подключение Google BigQuery.

  • Используйте запрос: выберите из таблицы или GoogleSQL.

    • Если выбрать таблицу:

      • Таблица: укажите имя таблицы Google BigQuery. Выберите таблицу из раскрывающегося списка или нажмите кнопку "Изменить ", чтобы вручную ввести ее.

        Снимок экрана: использование запроса — таблица.

    • Если выбрать GoogleSQL:

      • GoogleSQL: используйте настраиваемый SQL-запрос для чтения данных. Примером является SELECT * FROM MyTable. Дополнительные сведения см. в синтаксисе запросов.

        Снимок экрана: использование запроса — Google SQL.

В разделе "Дополнительно" можно указать следующие поля:

  • Дополнительные столбцы: добавьте дополнительные столбцы данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего варианта.

Назначение (предварительная версия)

Следующие свойства поддерживаются для Google BigQuery на вкладке "Назначение" действия копирования.

Требуются следующие свойства:

  • Подключение. Выберите подключение Google BigQuery из списка подключений. Если подключение не существует, создайте новое подключение Google BigQuery.

  • Таблица: укажите имя таблицы Google BigQuery. Выберите таблицу из раскрывающегося списка или нажмите кнопку "Изменить ", чтобы вручную ввести ее.

В разделе "Дополнительно" можно указать следующие поля:

  • Скрипт предварительного копирования: укажите сценарий с помощью GoogleSQL для выполнения действия копирования перед записью данных в целевую таблицу в каждом запуске. Это можно использовать для очистки предварительно загруженных данных.

  • время ожидания пакетной записи: укажите время ожидания завершения операции пакетной вставки перед истечением тайм-аута. Допустимое значение — интервал времени. Значение по умолчанию — 00:30:00 30 минут.

  • Размер пакета записи: укажите количество строк для вставки в таблицу Google BigQuery для каждого пакета. Допустимое значение — целое число (число строк). Значение по умолчанию — 10000.

Картирование

Сведения о настройке вкладки "Сопоставление" см. в разделе "Настройка сопоставлений" на вкладке "Сопоставление".

Settings

Для настройки вкладки перейдите к Настройка других параметров на вкладке "Параметры".

Сопоставление типов данных для Google BigQuery

При копировании данных из Google BigQuery используются следующие сопоставления типов данных Google BigQuery с промежуточными типами данных, используемыми службой.

Тип данных Google BigQuery Промежуточный тип данных
JSON String
СТРУНА String
BYTES Массив байтов
ЦЕЛОЕ ЧИСЛО Int64
FLOAT Double
ЧИСЛОВОЙ Decimal
BIGNUMERIC String
BOOLEAN Boolean
TIMESTAMP DateTimeOffset
DATE DateTime
TIME TimeSpan
Дата и время DateTimeOffset
ГЕОГРАФИЯ String
РЕКОРД/СТРУКТУРА String
ARRAY String

При копировании данных в Google BigQuery используются следующие сопоставления между промежуточными типами данных, применяемыми службой, и типами данных Google BigQuery.

Промежуточный тип данных Тип данных Google BigQuery
Boolean BOOLEAN
Массив байтов байты
Дата DATE
DateTime Дата и время
DateTimeOffset TIMESTAMP
Decimal ЧИСЛОВОЙ
Плавающая точка FLOAT
ГУИД СТРУНА
Целое число ЦЕЛОЕ ЧИСЛО
String BIGNUMERIC, СТРОКА, JSON, ГЕОГРАФИЯ, ЗАПИСЬ/СТРУКТУРА, МАССИВ, ДИАПАЗОН
Time TIME
TimeSpan ЦЕЛОЕ ЧИСЛО

Сводка таблицы

В следующих таблицах содержатся дополнительные сведения об операции копирования в Google BigQuery.

Исходная информация

Имя Description Ценность Обязательно Свойство скрипта JSON
Подключение Ваше подключение к исходному хранилищу данных. < ваше подключение Google BigQuery > Да connection
Тип подключения Тип подключения. Выберите Google BigQuery. Google BigQuery Да /
Использование запроса Способ чтения данных. Примените таблицу для чтения данных из указанной таблицы или примените GoogleSQL для чтения данных с помощью запросов SQL. • Таблица
• GoogleSQL		 Да /
Для таблицы
Имя набора данных Имя набора данных Google BigQuery. < имя набора данных > Нет (если указан GoogleSQL ) dataset
имя таблицы Название таблицы. < имя таблицы > Нет (если указан Google SQL ) table
Для GoogleSQL
GoogleSQL Используйте пользовательский SQL-запрос для чтения данных. Примером является SELECT * FROM MyTable. Дополнительные сведения см. в синтаксисе запросов. < Запрос GoogleSQL > Нет (если указана таблица ) query
Дополнительные столбцы Добавьте дополнительные столбцы данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего варианта. •Имя
•Ценность		 нет дополнительныеКолонки
•имя
•ценность

Сведения о назначении (предварительная версия)

Имя Description Ценность Обязательно Свойство скрипта JSON
Подключение Подключение к целевому хранилищу данных. < ваше подключение Google BigQuery > Да connection
Имя набора данных Имя набора данных Google BigQuery. < имя набора данных > Да dataset
имя таблицы Название таблицы. < имя таблицы > Да table
сценарий предварительного копирования Действие копирования GoogleSQL, выполняемое до записи данных в целевую таблицу при каждом запуске. Это можно использовать для очистки предварительно загруженных данных. < Запрос GoogleSQL > нет preCopyScript
Поведение при записи Процесс записи для копирования данных в Google BigQuery. вставить (по умолчанию) нет writeBehavior
время ожидания выполнения пакета Время ожидания завершения операции пакетной вставки перед истечением тайм-аута. Допустимые значения — это период времени. < временной интервал >
00:30:00 (по умолчанию)		 нет writeBatchTimeout
размер пакета записи Количество строк для вставки в таблицу Google BigQuery на пакет. Допустимое значение — целое число (число строк). < Целое число >
10000 (по умолчанию)		 нет writeBatchSize

Связанный контент

  • Last updated on