Поделиться через


Настройка MongoDB в действии копирования

В этой статье описывается, как использовать действие копирования в конвейерах данных для копирования данных из MongoDB и из нее.

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

Общие

Ознакомьтесь с руководством по общим параметрам, чтобы настроить вкладку "Общие параметры".

Оригинал

Перейдите на вкладку "Источник" , чтобы настроить источник действия копирования. См. следующее содержимое для подробной конфигурации.

Screenshot showing source tab and the list of properties.

Требуются следующие свойства:

  • Тип хранилища данных: выберите "Внешний".
  • Подключение. Выберите подключение MongoDB из списка подключений. Если подключение отсутствует, создайте новое подключение MongoDB, нажав кнопку "Создать".
  • База данных: выберите базу данных из раскрывающегося списка.
  • Имя коллекции: укажите имя коллекции в базе данных MongoDB. Вы можете выбрать коллекцию из раскрывающегося списка или выбрать команду "Изменить ", чтобы ввести ее вручную.

В разделе "Дополнительно" можно указать следующие поля:

  • Фильтр. Задает фильтр выбора с помощью операторов запросов. Чтобы получить все документы в коллекции, не указывайте этот параметр или передайте пустой документ ({}).
  • Методы курсора: выберите +Создать , чтобы указать способ выполнения базового запроса. Способы выполнения запроса:
    • проект. Указывает поля, возвращаемые в документах для проекции. Чтобы получить все поля в соответствующих документах, не указывайте этот параметр.
    • сортировка: указывает порядок, в котором запрос возвращает соответствующие документы. Дополнительные сведения см. в cursor.sort().
    • ограничение. Указывает максимальное количество документов, возвращаемых сервером. Дополнительные сведения см. в cursor.limit( ).
    • skip: указывает количество документов, которые нужно пропустить и откуда MongoDB начинает возвращать результаты. Дополнительные сведения см. в cursor.skip( ).
  • Размер пакета: указывает количество документов, возвращаемых в каждом пакете ответа из экземпляра MongoDB. В большинстве случаев изменение размера пакета не влияет на пользователя или приложение.
  • Дополнительные столбцы: добавление дополнительных столбцов данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего.

Назначение

Перейдите на вкладку "Назначение" , чтобы настроить назначение действия копирования. См. следующее содержимое для подробной конфигурации.

Screenshot showing destination tab and the list of properties.

Требуются следующие свойства:

  • Тип хранилища данных: выберите "Внешний".
  • Подключение. Выберите подключение MongoDB из списка подключений. Если подключение отсутствует, создайте новое подключение MongoDB, нажав кнопку "Создать".
  • База данных: выберите базу данных из раскрывающегося списка.
  • Имя коллекции: укажите имя коллекции в базе данных MongoDB. Вы можете выбрать коллекцию из раскрывающегося списка или выбрать команду "Изменить ", чтобы ввести ее вручную.

В разделе "Дополнительно" можно указать следующие поля:

  • Поведение записи: описывает запись данных в MongoDB. Допустимые значения: Insert и Upsert.

    Поведение Upsert заключается в замене документа, если документ уже _id существует; в противном случае вставьте документ.

    Примечание.

    Служба автоматически создает _id документ, если _id он не указан либо в исходном документе, либо по сопоставлению столбцов. Это означает, что для правильной работы Upsert документ имеет идентификатор.

  • Время ожидания пакетной операции записи: укажите время ожидания завершения операции вставки пакета до истечения времени ожидания. Допустимое значение — интервал времени.

  • Запись размера пакета: это свойство управляет размером документов для записи в каждом пакете. Вы можете попытаться увеличить значение, чтобы повысить производительность и уменьшить значение, если размер документа велик.

Сопоставление

Сведения о настройке вкладки "Сопоставление" см. в разделе "Настройка сопоставлений" на вкладке "Сопоставление". Сопоставление не поддерживается, если исходные и целевые данные являются иерархическими данными.

Настройки

Для настройки вкладки Параметры перейдите к разделу "Настройка других параметров" на вкладке "Параметры".

Сводка таблицы

В следующей таблице содержатся дополнительные сведения о действии копирования в MongoDB.

Сведения об источнике

Имя Описание Значение Обязательное поле Свойство скрипта JSON
Тип хранилища данных Тип хранилища данных. Внешний Да /
Соединение Подключение к исходному хранилищу данных. < подключение MongoDB > Да подключение
База данных База данных, используемая в качестве источника. < база данных > Да database
Имя коллекции Имя коллекции в базе данных MongoDB < коллекция > Да коллекция
Фильтр Фильтр выбора с помощью операторов запросов. Чтобы получить все документы в коллекции, не указывайте этот параметр или передайте пустой документ ({}). < фильтр выбора > No Фильтр
Методы курсора Способ выполнения базового запроса. • project
сортировка
ограничение
пропустить
No cursorMethods:
• project
•Сортировки
•Предел
•Пропустить
Размер пакета Количество документов, возвращаемых в каждом пакете ответа из экземпляра MongoDB. < размер пакета записи >
(значение по умолчанию — 100)
No batchSize
Дополнительные столбцы Добавьте дополнительные столбцы данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего. • Имя
•Значение
No additionalColumns:
•Имя
•Значение

Сведения о назначении

Имя Описание Значение Обязательное поле Свойство скрипта JSON
Тип хранилища данных Тип хранилища данных. Внешний Да /
Соединение Подключение к целевому хранилищу данных. < подключение MongoDB > Да подключение
База данных База данных, используемая в качестве назначения. < база данных > Да database
Имя коллекции Имя коллекции в базе данных MongoDB < коллекция > Да коллекция
Поведение записи Описание процесса записи данных в MongoDB. Допустимые значения: Insert и Upsert.

Поведение Upsert заключается в замене документа, если документ уже _id существует; в противном случае вставьте документ.

Примечание. Служба автоматически создает _id документ для документа, если _id он не указан либо в исходном документе, либо по сопоставлению столбцов. Это означает, что для правильной работы Upsert документ имеет идентификатор.
Вставка (по умолчанию)
Upsert
No writeBehavior:
•Вставить
• upsert
Время ожидания пакетной службы Время ожидания до выполнения операции пакетной вставки, пока не закончится срок ее действия. timespan
(по умолчанию используется 00:30:00 — 30 минут)
No writeBatchTimeout
Размер пакета записи Определяет размер документов для записи в каждом пакете. Вы можете попытаться увеличить это значение, чтобы повысить производительность и уменьшить значение, если размер документа большой. < размер пакета записи > No writeBatchSize