Настройка MongoDB Atlas в процессе копирования

В этой статье описывается, как использовать действие копирования в потоке данных для копирования данных из MongoDB Atlas и в неё.

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

General

Обратитесь к руководству по настройкам Общих параметров, чтобы настроить вкладку Общих настроек.

Исходный материал

Перейдите на вкладку "Источник" , чтобы настроить источник действия копирования. См. следующее содержимое для подробной конфигурации.

Снимок экрана: вкладка источника и список свойств.

Требуются следующие свойства:

  • Подключение. Выберите подключение MongoDB Atlas из списка подключений. Если подключение не существует, создайте новое подключение MongoDB Atlas.
  • База данных: выберите базу данных из раскрывающегося списка.
  • Имя коллекции: укажите имя коллекции в базе данных MongoDB Atlas. Вы можете выбрать коллекцию из раскрывающегося списка или выбрать команду "Изменить ", чтобы ввести ее вручную.
  • Версия: указанная версия. Рекомендуется обновить до последней версии, чтобы воспользоваться новыми улучшениями. Чтобы узнать разницу между различными версиями, перейдите в этот раздел.

В разделе "Дополнительно" можно указать следующие поля:

  • Фильтр. Задает фильтр выбора с помощью операторов запросов. Чтобы вернуть все документы в коллекции, опустите этот параметр или передайте пустой документ ({}).

  • Методы курсора: выберите +Создать , чтобы указать способ выполнения базового запроса. Способы выполнения запроса:

    • проект. Указывает поля, возвращаемые в документах для проекции. Чтобы вернуть все поля в соответствующих документах, опустите этот параметр.
    • сортировка: указывает порядок, в котором запрос возвращает соответствующие документы. Обратитесь к cursor.sort().
    • ограничение. Указывает максимальное количество документов, возвращаемых сервером. Обратитесь к cursor.limit().
    • skip: указывает количество документов, которые нужно пропустить, и откуда MongoDB Atlas начинает возвращать результаты. Обратитесь к cursor.skip().
  • Размер пакета: указывает количество документов, возвращаемых в каждом пакете ответа из экземпляра MongoDB Atlas. В большинстве случаев изменение размера пакета не повлияет на пользователя или приложение.

  • Дополнительные столбцы: добавление дополнительных столбцов данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего.

Место назначения

Перейдите на вкладку "Назначение" , чтобы настроить назначение действия копирования. См. следующее содержимое для подробной конфигурации.

Снимок экрана: вкладка назначения и список свойств.

Требуются следующие свойства:

  • Подключение. Выберите подключение MongoDB Atlas из списка подключений. Если подключение не существует, создайте новое подключение MongoDB Atlas.
  • База данных: выберите базу данных из раскрывающегося списка.
  • Имя коллекции: укажите имя коллекции в базе данных MongoDB Atlas. Вы можете выбрать коллекцию из раскрывающегося списка или выбрать команду "Изменить ", чтобы ввести ее вручную.

В разделе "Дополнительно" можно указать следующие поля:

  • Поведение записи: описывает запись данных в MongoDB Atlas. Допустимые значения: Insert и Upsert.

    Поведение Upsert заключается в замене документа, если документ с тем же _id уже существует; в противном случае документ вставляется.

    Замечание

    Служба автоматически создает _id для документа, если _id не указан либо в исходном документе, либо по сопоставлению столбцов. Это означает, что вы должны убедиться, что ваш документ имеет идентификатор для корректной работы Upsert.

  • Время ожидания пакетной операции записи: укажите время ожидания завершения операции вставки пакета до истечения времени ожидания. Допустимое значение — интервал времени.

  • Размер пакета записи: это свойство управляет количеством документов для записи в каждом пакете. Вы можете попытаться увеличить значение, чтобы повысить производительность и уменьшить значение, если размер документа велик.

Подсказка

Чтобы импортировать документы JSON без изменений, см. раздел Импорт или экспорт документов JSON; чтобы копировать из данных в табличной форме, см. раздел Сопоставление схем.

Сопоставление

Сведения о настройке вкладки "Сопоставление " см. в разделе "Настройка сопоставлений" на вкладке "Сопоставление". Сопоставление не поддерживается, если исходные и целевые данные являются иерархическими данными.

Settings

Для настройки вкладки "Параметры" перейдите к разделу "Настройка других параметров" на вкладке "Параметры".

Импорт и экспорт документов JSON

С помощью этого коннектора MongoDB Atlas можно легко:

  • Копировать документы между коллекциями MongoDB Atlas без изменений.
  • Импортируйте документы JSON из различных источников в MongoDB Atlas, включая Azure Cosmos DB, Azure Blob-хранилище, Azure Data Lake Store и другие поддерживаемые хранилища на основе файлов.
  • экспортировать документы JSON из коллекции MongoDB Atlas в различные файловые хранилища.

Чтобы достичь копии, не зависящей от схемы, пропустите сопоставление схем в операции копирования.

Сопоставление типов данных для MongoDB Atlas

При копировании данных из MongoDB Atlas следующие сопоставления используются из типов данных MongoDB Atlas к промежуточным типам данных, используемым службой внутри службы.

Тип данных MongoDB Atlas Тип данных промежуточной службы (для версии 1.1) Тип данных промежуточной службы (для версии 1.0)
Date DateTime String
ObjectId String String
Decimal128 String String
Метка времени Самые значительные 32 бита —> DateTime
Наименее значимые 32 бита -> Int32
Самые значительные 32 бита -> Int64
Наименее значимые 32 бита -> Int64
String String String
Double Double String
Int32 Int32 String
Int64 Int64 String
Boolean Boolean Boolean
Null Null Null
JavaScript String String
Регулярное выражение String String
Минимальный ключ String Int64
Максимальный ключ String Int64
Binary GUID (если подтип имеет значение "04" )
String
String

Различия между версиями MongoDB Atlas

В таблице ниже показаны различия функций между различными версиями.

Версия 1.1 Версия 1.0
Следующие сопоставления используются из типов данных MongoDB Atlas с промежуточными типами данных службы.

Дата —> ДатаВремя
TimeStamp (наиболее значимые 32 бита) —> DateTime
TimeStamp (наименьшее 32 бита) -> Int32
Двойной —> Двойной
Int32 —> Int32
Int64 —> Int64
Min key —> String
Максимальный ключ —> Строка
Binary —> GUID (если подтип имеет значение "04") / String
Следующие сопоставления используются из типов данных MongoDB Atlas с промежуточными типами данных службы.

Дата —> строка
Метка времени (наиболее значимые 32 бита) —> Int64
TimeStamp (наименее значимые 32 бита) -> Int64
Double —> строка
Int32 —> String
Int64 —> строка
Минимальный ключ —> Int64
Максимальный ключ —> Int64
Двоичное:> текстовая строка

Сводка таблицы

В следующей таблице содержатся дополнительные сведения об операции копирования в MongoDB Atlas.

Исходная информация

Имя Description Ценность Обязательно Свойство скрипта JSON
Соединение Подключение к исходному хранилищу данных. < ваше подключение к MongoDB Atlas > Да connection
База данных База данных, которую вы используете в качестве источника. < ваша база данных > Да база данных
Имя коллекции Имя коллекции в базе данных MongoDB Atlas. < ваша коллекция > Да коллекция
Версия Версия, которую вы указали. • 1.1
• 1.0
Да Версия:
• 1.1
• 1.0
Фильтр Фильтр выбора с помощью операторов запросов. Чтобы вернуть все документы в коллекции, опустите этот параметр или передайте пустой документ ({}). < фильтр выбора > нет фильтр
Методы курсора Способ выполнения базового запроса. проект
сортировка
ограничение
пропустить
нет cursorMethods:
•проект
сортировать
•ограничение
• пропустить
Размер пакета Количество документов, возвращаемых в каждом пакете ответа из экземпляра MongoDB Atlas. < размер пакета записи >
(значение по умолчанию — 100)
нет РазмерПакета
Дополнительные столбцы Добавьте дополнительные столбцы данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего. • Имя
•Ценность
нет дополнительные столбцы:
•имя
•ценность

Сведения о назначении

Имя Description Ценность Обязательно Свойство скрипта JSON
Соединение Ваше подключение к целевому хранилищу данных. < ваше подключение к MongoDB Atlas > Да connection
База данных База данных, используемая в качестве назначения. < ваша база данных > Да база данных
Имя коллекции Имя коллекции в базе данных MongoDB Atlas. < ваша коллекция > Да коллекция
Поведение записи Описывает запись данных в MongoDB Atlas. Допустимые значения: Insert и Upsert.

Поведение Upsert заключается в замене документа, если документ с тем же _id уже существует; в противном случае документ вставляется.

Примечание. Служба автоматически генерирует _id, если _id не указан ни в исходном документе, ни при сопоставлении столбцов. Это означает, что вы должны убедиться, что ваш документ имеет идентификатор для корректной работы Upsert.
Вставка (по умолчанию)
Upsert
нет writeBehavior:
•вставка
• добавление или обновление записи
Тайм-аут пакетной обработки Время ожидания завершения операции пакетной вставки до истечения времени ожидания. timespan
(значение по умолчанию — 00:30:00 – 30 минут)
нет writeBatchTimeout
Размер пакета записи Определяет размер документов для записи в каждом пакете. Вы можете попытаться увеличить это значение, чтобы повысить производительность и уменьшить значение, если размер документа большой. < размер пакета записи > нет writeBatchSize (размер батча записи)