Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В этой статье описывается, как использовать действие копирования в потоке данных для копирования данных из MongoDB Atlas и в неё.
Поддерживаемая конфигурация
Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.
General
Обратитесь к руководству по настройкам Общих параметров, чтобы настроить вкладку Общих настроек.
Исходный материал
Перейдите на вкладку "Источник" , чтобы настроить источник действия копирования. См. следующее содержимое для подробной конфигурации.
Требуются следующие свойства:
- Подключение. Выберите подключение MongoDB Atlas из списка подключений. Если подключение не существует, создайте новое подключение MongoDB Atlas.
- База данных: выберите базу данных из раскрывающегося списка.
- Имя коллекции: укажите имя коллекции в базе данных MongoDB Atlas. Вы можете выбрать коллекцию из раскрывающегося списка или выбрать команду "Изменить ", чтобы ввести ее вручную.
- Версия: указанная версия. Рекомендуется обновить до последней версии, чтобы воспользоваться новыми улучшениями. Чтобы узнать разницу между различными версиями, перейдите в этот раздел.
В разделе "Дополнительно" можно указать следующие поля:
Фильтр. Задает фильтр выбора с помощью операторов запросов. Чтобы вернуть все документы в коллекции, опустите этот параметр или передайте пустой документ ({}).
Методы курсора: выберите +Создать , чтобы указать способ выполнения базового запроса. Способы выполнения запроса:
- проект. Указывает поля, возвращаемые в документах для проекции. Чтобы вернуть все поля в соответствующих документах, опустите этот параметр.
- сортировка: указывает порядок, в котором запрос возвращает соответствующие документы. Обратитесь к cursor.sort().
- ограничение. Указывает максимальное количество документов, возвращаемых сервером. Обратитесь к cursor.limit().
- skip: указывает количество документов, которые нужно пропустить, и откуда MongoDB Atlas начинает возвращать результаты. Обратитесь к cursor.skip().
Размер пакета: указывает количество документов, возвращаемых в каждом пакете ответа из экземпляра MongoDB Atlas. В большинстве случаев изменение размера пакета не повлияет на пользователя или приложение.
Дополнительные столбцы: добавление дополнительных столбцов данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего.
Место назначения
Перейдите на вкладку "Назначение" , чтобы настроить назначение действия копирования. См. следующее содержимое для подробной конфигурации.
Требуются следующие свойства:
- Подключение. Выберите подключение MongoDB Atlas из списка подключений. Если подключение не существует, создайте новое подключение MongoDB Atlas.
- База данных: выберите базу данных из раскрывающегося списка.
- Имя коллекции: укажите имя коллекции в базе данных MongoDB Atlas. Вы можете выбрать коллекцию из раскрывающегося списка или выбрать команду "Изменить ", чтобы ввести ее вручную.
В разделе "Дополнительно" можно указать следующие поля:
Поведение записи: описывает запись данных в MongoDB Atlas. Допустимые значения: Insert и Upsert.
Поведение Upsert заключается в замене документа, если документ с тем же
_idуже существует; в противном случае документ вставляется.Замечание
Служба автоматически создает
_idдля документа, если_idне указан либо в исходном документе, либо по сопоставлению столбцов. Это означает, что вы должны убедиться, что ваш документ имеет идентификатор для корректной работы Upsert.Время ожидания пакетной операции записи: укажите время ожидания завершения операции вставки пакета до истечения времени ожидания. Допустимое значение — интервал времени.
Размер пакета записи: это свойство управляет количеством документов для записи в каждом пакете. Вы можете попытаться увеличить значение, чтобы повысить производительность и уменьшить значение, если размер документа велик.
Подсказка
Чтобы импортировать документы JSON без изменений, см. раздел Импорт или экспорт документов JSON; чтобы копировать из данных в табличной форме, см. раздел Сопоставление схем.
Сопоставление
Сведения о настройке вкладки "Сопоставление " см. в разделе "Настройка сопоставлений" на вкладке "Сопоставление". Сопоставление не поддерживается, если исходные и целевые данные являются иерархическими данными.
Settings
Для настройки вкладки "Параметры" перейдите к разделу "Настройка других параметров" на вкладке "Параметры".
Импорт и экспорт документов JSON
С помощью этого коннектора MongoDB Atlas можно легко:
- Копировать документы между коллекциями MongoDB Atlas без изменений.
- Импортируйте документы JSON из различных источников в MongoDB Atlas, включая Azure Cosmos DB, Azure Blob-хранилище, Azure Data Lake Store и другие поддерживаемые хранилища на основе файлов.
- экспортировать документы JSON из коллекции MongoDB Atlas в различные файловые хранилища.
Чтобы достичь копии, не зависящей от схемы, пропустите сопоставление схем в операции копирования.
Сопоставление типов данных для MongoDB Atlas
При копировании данных из MongoDB Atlas следующие сопоставления используются из типов данных MongoDB Atlas к промежуточным типам данных, используемым службой внутри службы.
| Тип данных MongoDB Atlas | Тип данных промежуточной службы (для версии 1.1) | Тип данных промежуточной службы (для версии 1.0) |
|---|---|---|
| Date | DateTime | String |
| ObjectId | String | String |
| Decimal128 | String | String |
| Метка времени | Самые значительные 32 бита —> DateTime Наименее значимые 32 бита -> Int32 |
Самые значительные 32 бита -> Int64 Наименее значимые 32 бита -> Int64 |
| String | String | String |
| Double | Double | String |
| Int32 | Int32 | String |
| Int64 | Int64 | String |
| Boolean | Boolean | Boolean |
| Null | Null | Null |
| JavaScript | String | String |
| Регулярное выражение | String | String |
| Минимальный ключ | String | Int64 |
| Максимальный ключ | String | Int64 |
| Binary | GUID (если подтип имеет значение "04" ) String |
String |
Различия между версиями MongoDB Atlas
В таблице ниже показаны различия функций между различными версиями.
| Версия 1.1 | Версия 1.0 |
|---|---|
| Следующие сопоставления используются из типов данных MongoDB Atlas с промежуточными типами данных службы. Дата —> ДатаВремя TimeStamp (наиболее значимые 32 бита) —> DateTime TimeStamp (наименьшее 32 бита) -> Int32 Двойной —> Двойной Int32 —> Int32 Int64 —> Int64 Min key —> String Максимальный ключ —> Строка Binary —> GUID (если подтип имеет значение "04") / String |
Следующие сопоставления используются из типов данных MongoDB Atlas с промежуточными типами данных службы. Дата —> строка Метка времени (наиболее значимые 32 бита) —> Int64 TimeStamp (наименее значимые 32 бита) -> Int64 Double —> строка Int32 —> String Int64 —> строка Минимальный ключ —> Int64 Максимальный ключ —> Int64 Двоичное:> текстовая строка |
Сводка таблицы
В следующей таблице содержатся дополнительные сведения об операции копирования в MongoDB Atlas.
Исходная информация
| Имя | Description | Ценность | Обязательно | Свойство скрипта JSON |
|---|---|---|---|---|
| Соединение | Подключение к исходному хранилищу данных. | < ваше подключение к MongoDB Atlas > | Да | connection |
| База данных | База данных, которую вы используете в качестве источника. | < ваша база данных > | Да | база данных |
| Имя коллекции | Имя коллекции в базе данных MongoDB Atlas. | < ваша коллекция > | Да | коллекция |
| Версия | Версия, которую вы указали. | • 1.1 • 1.0 |
Да | Версия: • 1.1 • 1.0 |
| Фильтр | Фильтр выбора с помощью операторов запросов. Чтобы вернуть все документы в коллекции, опустите этот параметр или передайте пустой документ ({}). | < фильтр выбора > | нет | фильтр |
| Методы курсора | Способ выполнения базового запроса. | • проект • сортировка • ограничение • пропустить |
нет | cursorMethods: •проект сортировать •ограничение • пропустить |
| Размер пакета | Количество документов, возвращаемых в каждом пакете ответа из экземпляра MongoDB Atlas. |
< размер пакета записи > (значение по умолчанию — 100) |
нет | РазмерПакета |
| Дополнительные столбцы | Добавьте дополнительные столбцы данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего. | • Имя •Ценность |
нет | дополнительные столбцы: •имя •ценность |
Сведения о назначении
| Имя | Description | Ценность | Обязательно | Свойство скрипта JSON |
|---|---|---|---|---|
| Соединение | Ваше подключение к целевому хранилищу данных. | < ваше подключение к MongoDB Atlas > | Да | connection |
| База данных | База данных, используемая в качестве назначения. | < ваша база данных > | Да | база данных |
| Имя коллекции | Имя коллекции в базе данных MongoDB Atlas. | < ваша коллекция > | Да | коллекция |
| Поведение записи | Описывает запись данных в MongoDB Atlas. Допустимые значения: Insert и Upsert. Поведение Upsert заключается в замене документа, если документ с тем же _id уже существует; в противном случае документ вставляется.Примечание. Служба автоматически генерирует _id, если _id не указан ни в исходном документе, ни при сопоставлении столбцов. Это означает, что вы должны убедиться, что ваш документ имеет идентификатор для корректной работы Upsert. |
• Вставка (по умолчанию) • Upsert |
нет | writeBehavior: •вставка • добавление или обновление записи |
| Тайм-аут пакетной обработки | Время ожидания завершения операции пакетной вставки до истечения времени ожидания. | timespan (значение по умолчанию — 00:30:00 – 30 минут) |
нет | writeBatchTimeout |
| Размер пакета записи | Определяет размер документов для записи в каждом пакете. Вы можете попытаться увеличить это значение, чтобы повысить производительность и уменьшить значение, если размер документа большой. | < размер пакета записи > | нет | writeBatchSize (размер батча записи) |