Настройка MongoDB в действии копирования
В этой статье описывается, как использовать действие копирования в конвейерах данных для копирования данных из MongoDB и из нее.
Поддерживаемая конфигурация
Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.
Общие
Ознакомьтесь с руководством по общим параметрам, чтобы настроить вкладку "Общие параметры".
Оригинал
Перейдите на вкладку "Источник" , чтобы настроить источник действия копирования. См. следующее содержимое для подробной конфигурации.
Требуются следующие свойства:
- Тип хранилища данных: выберите "Внешний".
- Подключение. Выберите подключение MongoDB из списка подключений. Если подключение отсутствует, создайте новое подключение MongoDB, нажав кнопку "Создать".
- База данных: выберите базу данных из раскрывающегося списка.
- Имя коллекции: укажите имя коллекции в базе данных MongoDB. Вы можете выбрать коллекцию из раскрывающегося списка или выбрать команду "Изменить ", чтобы ввести ее вручную.
В разделе "Дополнительно" можно указать следующие поля:
- Фильтр. Задает фильтр выбора с помощью операторов запросов. Чтобы получить все документы в коллекции, не указывайте этот параметр или передайте пустой документ ({}).
- Методы курсора: выберите +Создать , чтобы указать способ выполнения базового запроса. Способы выполнения запроса:
- проект. Указывает поля, возвращаемые в документах для проекции. Чтобы получить все поля в соответствующих документах, не указывайте этот параметр.
- сортировка: указывает порядок, в котором запрос возвращает соответствующие документы. Дополнительные сведения см. в cursor.sort().
- ограничение. Указывает максимальное количество документов, возвращаемых сервером. Дополнительные сведения см. в cursor.limit( ).
- skip: указывает количество документов, которые нужно пропустить и откуда MongoDB начинает возвращать результаты. Дополнительные сведения см. в cursor.skip( ).
- Размер пакета: указывает количество документов, возвращаемых в каждом пакете ответа из экземпляра MongoDB. В большинстве случаев изменение размера пакета не влияет на пользователя или приложение.
- Дополнительные столбцы: добавление дополнительных столбцов данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего.
Назначение
Перейдите на вкладку "Назначение" , чтобы настроить назначение действия копирования. См. следующее содержимое для подробной конфигурации.
Требуются следующие свойства:
- Тип хранилища данных: выберите "Внешний".
- Подключение. Выберите подключение MongoDB из списка подключений. Если подключение отсутствует, создайте новое подключение MongoDB, нажав кнопку "Создать".
- База данных: выберите базу данных из раскрывающегося списка.
- Имя коллекции: укажите имя коллекции в базе данных MongoDB. Вы можете выбрать коллекцию из раскрывающегося списка или выбрать команду "Изменить ", чтобы ввести ее вручную.
В разделе "Дополнительно" можно указать следующие поля:
Поведение записи: описывает запись данных в MongoDB. Допустимые значения: Insert и Upsert.
Поведение Upsert заключается в замене документа, если документ уже
_id
существует; в противном случае вставьте документ.Примечание.
Служба автоматически создает
_id
документ, если_id
он не указан либо в исходном документе, либо по сопоставлению столбцов. Это означает, что для правильной работы Upsert документ имеет идентификатор.Время ожидания пакетной операции записи: укажите время ожидания завершения операции вставки пакета до истечения времени ожидания. Допустимое значение — интервал времени.
Запись размера пакета: это свойство управляет размером документов для записи в каждом пакете. Вы можете попытаться увеличить значение, чтобы повысить производительность и уменьшить значение, если размер документа велик.
Сопоставление
Сведения о настройке вкладки "Сопоставление" см. в разделе "Настройка сопоставлений" на вкладке "Сопоставление". Сопоставление не поддерживается, если исходные и целевые данные являются иерархическими данными.
Настройки
Для настройки вкладки Параметры перейдите к разделу "Настройка других параметров" на вкладке "Параметры".
Сводка таблицы
В следующей таблице содержатся дополнительные сведения о действии копирования в MongoDB.
Сведения об источнике
Имя | Описание | Значение | Обязательное поле | Свойство скрипта JSON |
---|---|---|---|---|
Тип хранилища данных | Тип хранилища данных. | Внешний | Да | / |
Соединение | Подключение к исходному хранилищу данных. | < подключение MongoDB > | Да | подключение |
База данных | База данных, используемая в качестве источника. | < база данных > | Да | database |
Имя коллекции | Имя коллекции в базе данных MongoDB | < коллекция > | Да | коллекция |
Фильтр | Фильтр выбора с помощью операторов запросов. Чтобы получить все документы в коллекции, не указывайте этот параметр или передайте пустой документ ({}). | < фильтр выбора > | No | Фильтр |
Методы курсора | Способ выполнения базового запроса. | • project • сортировка • ограничение • пропустить |
No | cursorMethods: • project •Сортировки •Предел •Пропустить |
Размер пакета | Количество документов, возвращаемых в каждом пакете ответа из экземпляра MongoDB. | < размер пакета записи > (значение по умолчанию — 100) |
No | batchSize |
Дополнительные столбцы | Добавьте дополнительные столбцы данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего. | • Имя •Значение |
No | additionalColumns: •Имя •Значение |
Сведения о назначении
Имя | Описание | Значение | Обязательное поле | Свойство скрипта JSON |
---|---|---|---|---|
Тип хранилища данных | Тип хранилища данных. | Внешний | Да | / |
Соединение | Подключение к целевому хранилищу данных. | < подключение MongoDB > | Да | подключение |
База данных | База данных, используемая в качестве назначения. | < база данных > | Да | database |
Имя коллекции | Имя коллекции в базе данных MongoDB | < коллекция > | Да | коллекция |
Поведение записи | Описание процесса записи данных в MongoDB. Допустимые значения: Insert и Upsert. Поведение Upsert заключается в замене документа, если документ уже _id существует; в противном случае вставьте документ.Примечание. Служба автоматически создает _id документ для документа, если _id он не указан либо в исходном документе, либо по сопоставлению столбцов. Это означает, что для правильной работы Upsert документ имеет идентификатор. |
• Вставка (по умолчанию) • Upsert |
No | writeBehavior: •Вставить • upsert |
Время ожидания пакетной службы | Время ожидания до выполнения операции пакетной вставки, пока не закончится срок ее действия. | timespan (по умолчанию используется 00:30:00 — 30 минут) |
No | writeBatchTimeout |
Размер пакета записи | Определяет размер документов для записи в каждом пакете. Вы можете попытаться увеличить это значение, чтобы повысить производительность и уменьшить значение, если размер документа большой. | < размер пакета записи > | No | writeBatchSize |