Настройка Azure Cosmos DB для NoSQL в процессе копирования

В этой статье описывается, как использовать действие копирования в конвейере для копирования данных из и в Azure Cosmos DB для NoSQL.

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

General

Ознакомьтесь с руководством по общим параметрам , чтобы настроить вкладку "Общие параметры".

Исходный материал

Следующие свойства поддерживаются для Azure Cosmos DB для NoSQL на вкладке "Источник " действия копирования.

Требуются следующие три свойства:

  • Подключение. Выберите подключение Azure Cosmos DB для NoSQL из списка подключений. Если подключение отсутствует, создайте новое подключение Azure Cosmos DB для NoSQL, нажав кнопку "Создать".
  • Контейнер. Выберите контейнер, который требуется использовать. Нажмите кнопку "Изменить", чтобы ввести имя контейнера вручную.

В разделе "Дополнительно" можно указать следующие поля:

  • Используйте запрос: в качестве запроса можно выбрать таблицу или запрос. В следующем списке описана конфигурация каждого параметра.

    • Таблица: считывает данные из таблицы, указанной в таблице.

    • Запрос. Указывает запрос Azure Cosmos DB для чтения данных.

      Снимок экрана: запрос.

  • Размер страницы: количество документов на страницу результата запроса. По умолчанию установлено значение "-1", что означает использование определяемого службой динамического размера страницы с максимальным значением до 1000.

  • Определение даты и времени. Определение даты и времени из строковых значений в документах. Допустимые значения: true (по умолчанию), false.

  • Предпочтительный регион: предпочтительный список регионов для подключения при получении данных из Azure Cosmos DB. Выберите один предпочтительный регион из раскрывающегося списка после выбора "Создать".

    Снимок экрана: предпочтительный регион.

  • Дополнительные столбцы: добавьте дополнительные столбцы данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего варианта. Дополнительные сведения см. в разделе Добавление дополнительных столбцов во время копирования.

    Снимок экрана: дополнительные столбцы.

Место назначения

Следующие свойства поддерживаются для Azure Cosmos DB для NoSQL на вкладке "Назначение " действия копирования.

Требуются следующие три свойства:

  • Подключение. Выберите подключение Azure Cosmos DB для NoSQL из списка подключений.
  • Контейнер: Выберите Обзор, чтобы выбрать файл, который требуется скопировать, или заполнить путь вручную.

В разделе "Дополнительно" можно указать следующие поля:

  • Поведение записи: определяет поведение записи, когда назначение является файлами из файлового хранилища данных. В раскрывающемся списке можно выбрать "Добавить динамическое содержимое", "Вставка" или "Upsert ".

    • Добавление динамического содержимого: откройте панель "Добавить динамическое содержимое ". Откроется построитель выражений, где можно создавать выражения из поддерживаемых системных переменных, выходных данных действий, функций и пользовательских переменных или параметров. Для получения сведений о языке выражений перейдите к выражениям и функциям.

    • Вставка: Выберите этот параметр, если в исходных данных есть вставки.

    • Upsert: поведение upsert заключается в замене документа, если документ уже существует с тем же идентификатором; в противном случае вставьте документ.

      Снимок экрана: поведение записи.

  • Время ожидания пакетной записи: ожидание завершения операции пакетной записи до истечения времени ожидания. Допустимые значения: Timespan. Например, 00:30:00 (30 минут).

  • Размер пакета записи: укажите количество строк для вставки в таблицу SQL в одном пакете. Допустимое значение — целое число (число строк). По умолчанию эта служба динамически определяет соответствующий размер пакета в зависимости от размера строки.

  • Максимальное число одновременных подключений: верхний предел одновременных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

  • Отключить аналитику метрик производительности: этот параметр управляет коллекцией метрик, таких как DTU, DWU, RU и т. д. для оптимизации производительности копирования и рекомендаций. Если вы обеспокоены этим поведением, отключите эту функцию.

Картирование

Для конфигурации вкладки "Сопоставление " перейдите к разделу "Настройка сопоставлений" на вкладке "Сопоставление".

Settings

Для конфигурации вкладки "Параметры " перейдите к разделу "Настройка других параметров" на вкладке "Параметры".

Сводка таблицы

В следующих таблицах содержится дополнительная информация об операции копирования в Azure Cosmos DB для NoSQL.

Исходная таблица

Имя Description Ценность Обязательно Свойство скрипта JSON
Подключение Ваше подключение к исходному хранилищу данных. <подключение> Да connection
Контейнер Контейнер исходных данных. <контейнер источника> Да контейнер
fileName
Использование запроса В качестве запроса можно выбрать таблицу или запрос . Таблица
Запрос
нет type
Размер страницы Количество документов на страницу результата запроса. По умолчанию установлено значение "-1", что означает использование определяемого службой динамического размера страницы с максимальным значением до 1000. <размер страницы> нет pageSize
Удаление даты и времени Файлы в исходном хранилище данных будут удалены сразу после перемещения в целевое хранилище. Удаление файла выполняется для каждого файла, поэтому при сбое действия копирования следует отметить, что некоторые файлы уже скопированы в место назначения и удалены из источника, а другие все еще находятся в исходном хранилище. Выбранный или отмена выбора нет detectDatetime
Предпочтительный регион Предпочтительный список регионов для подключения при получении данных из Azure Cosmos DB. Выберите один предпочтительный регион из раскрывающегося списка после выбора "Создать". <предпочитаемые регионы> нет preferredRegions
Дополнительные столбцы Добавьте дополнительные столбцы данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего варианта. Дополнительные сведения см. в разделе Добавление дополнительных столбцов во время копирования. <максимальное число одновременных подключений> нет дополнительные столбцы

Целевая таблица

Имя Description Ценность Обязательно Свойство скрипта JSON
Подключение Подключение к целевому хранилищу данных. <подключение> Да connection
Контейнер Контейнер целевых данных. <контейнер источника> Да контейнер
fileName
Поведение при записи Описывает запись данных в Azure Cosmos DB. Допустимые значения: insert и upsert. Поведение upsert заключается в замене документа, если документ с тем же идентификатором уже существует; в противном случае вставьте документ. Добавление динамического содержимого
Вставка
Upsert
нет writeBehavior
время ожидания выполнения пакета Время ожидания до завершения операции пакетной вставки, прежде чем истечет тайм-аут. Допустимые значения — Timespan. Например, 00:30:00 (30 минут). временной промежуток нет writeBatchTimeout
размер пакета записи Количество строк для вставки в таблицу SQL на пакет. Допустимое значение — целое число (число строк). По умолчанию эта служба динамически определяет соответствующий размер пакета в зависимости от размера строки. <количество строк >
(целое число)
нет writeBatchSize (размер батча записи)
Максимальное число одновременных подключений Верхний предел одновременных подключений, установленных к хранилищу данных во время выполнения активности. Указывайте значение только при необходимости ограничить количество одновременных подключений. <максимальное число одновременных подключений> нет maxConcurrentConnections
Отключение аналитики метрик производительности Этот параметр управляет коллекцией метрик, таких как DTU, DWU, RU и т. д. для оптимизации производительности копирования и рекомендаций. Если вы обеспокоены этим поведением, отключите эту функцию. Выбранный или отмена выбора нет disableMetricsCollection