Копирование и преобразование данных в аналитическом хранилище Azure Cosmos DB с помощью Фабрика данных Azure

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье описывается, как использовать Поток данных для преобразования данных в аналитическом хранилище Azure Cosmos DB. Дополнительные сведения см. в вводных статьях о Фабрике данных Azure и Azure Synapse Analytics.

Поддерживаемые возможности

Этот соединитель Azure Cosmos DB для NoSQL поддерживается для следующих возможностей:

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Свойства потока данных для сопоставления

При преобразовании данных в потоке данных сопоставления можно читать и записывать в коллекции в Azure Cosmos DB. Дополнительные сведения см. в описаниях преобразования источника и преобразования приемника в разделе, посвященном потокам данных для сопоставления.

Преобразование источника

Параметры, относящиеся к Azure Cosmos DB, находятся на вкладке Параметры источника преобразования источника.

Включите системные столбцы: если значение true, id_tsи другие системные столбцы включаются в метаданные потока данных из Azure Cosmos DB. При обновлении коллекций важно включить это, чтобы можно было получить существующий идентификатор строки.

Размер страницы: число документов на страницу результата запроса. Значение по умолчанию — "-1"; в этом случае используется динамический размер страницы на стороне службы (до 1000).

Пропускная способность. Задайте необязательное значение для количества единиц запросов, которые вы хотите применить к коллекции Azure Cosmos DB для каждого выполнения этого потока данных во время операции чтения. Минимальное значение — 400.

Предпочтительные регионы: выберите предпочтительные регионы чтения для этого процесса.

Канал изменений. Если это верно, вы получите данные из канала изменений Azure Cosmos DB, который является постоянной записью изменений в контейнере в том порядке, в котором они происходят от последнего запуска автоматически. Если задано значение true, не устанавливайте оба типа смещенных столбцов и разрешить смещение схемы как true одновременно. Дополнительные сведения см . в канале изменений Azure Cosmos DB.

Начните с начала: если верно, вы получите начальную нагрузку полных данных моментального снимка в первом запуске, за которым следует запись измененных данных в следующих запусках. Если значение равно false, начальная нагрузка будет пропущена при первом выполнении, а затем будут внесены измененные данные в следующих выполнениях. Параметр выравнивается с тем же именем параметра в справочнике по Azure Cosmos DB. Дополнительные сведения см . в канале изменений Azure Cosmos DB.

Преобразование приемника

Параметры, относящиеся к Azure Cosmos DB, находятся на вкладке Параметры преобразования приемника.

Метод обновления. Определяет, какие операции разрешены в назначении базы данных. По умолчанию разрешены только операции вставки. Для выполнения обновления (update), обновления или вставки (upsert) или удаления (delete) строк требуется преобразование alter-row строк, отмеченных для этих действий. Для выполнения обновления (update), обновления или вставки (upsert) или удаления (delete) должен быть установлен ключевой столбец (или столбцы), позволяющий определить строки для изменения.

Действие коллекции: определяет, следует ли повторно создавать целевую коллекцию перед записью.

• Нет. Действие не выполняется для коллекции.
• Повторное создание: коллекция удаляется и воссоздается

Размер пакета: целое число, представляющее количество объектов, записываемых в коллекцию Azure Cosmos DB в каждом пакете. Обычно для того, чтобы приступить к работе, достаточно размера пакета по умолчанию. При дальнейшей корректировке этого значения учитывайте указанные ниже моменты.

• Azure Cosmos DB ограничивает размер одного запроса до 2 МБ. Формула выглядит так: размер запроса = размер одного документа × размер пакета. Если возникла ошибка с сообщением о том, что размер запроса слишком велик, уменьшите пакет.
• Чем больше размер пакета, тем большей пропускной способности может добиться служба. Однако при этом для рабочей нагрузки необходимо выделить достаточно единиц запросов.

Ключ секции: введите строку, представляющую ключ секции для коллекции. Пример: /movies/title

Пропускная способность. Задайте необязательное значение для количества единиц запросов, которые вы хотите применить к коллекции Azure Cosmos DB для каждого выполнения этого потока данных. Минимальное значение — 400.

Бюджет пропускной способности записи: целое число — число ЕЗ, которые требуется выделить для этой операции записи потока данных из общей пропускной способности, выделенной для коллекции.

Канал изменений Azure Cosmos DB

Фабрика данных Azure может получать данные из веб-канала изменений Azure Cosmos DB, включив его в преобразовании источников в потоке данных для сопоставления. Этот параметр соединителя позволяет считывать каналы изменений и применять преобразования перед загрузкой преобразованных данных в нужные целевые наборы. Вам не нужно использовать функции Azure для чтения канала изменений и записи пользовательских преобразований. Этот параметр можно использовать для перемещения данных из одного контейнера в другой, подготовки представлений на основе веб-канала изменений для подбора или автоматизации резервного копирования или восстановления контейнеров на основе веб-канала изменений, а также для многих других вариантов использования с помощью возможности перетаскивания элементов в интерфейсе Фабрики данных Azure.

Убедитесь, что название конвейера и имя действия не изменились, чтобы контрольная точка могла быть записана ADF и вы могли получать измененные данные из последнего выполнения автоматически. Если изменить имя конвейера или имя действия, контрольная точка будет сброшена, из-за чего придется начинать работу с начала или получить изменения с текущего момента до следующего выполнения.

При отладке конвейера эта функция работает таким же образом. Контрольная точка будет сбрасываться при обновлении браузера во время отладки. После того как вы удовлетворены результатом конвейера от отладки, вы можете продолжить публикацию и активацию конвейера. В момент первого запуска опубликованного конвейера он автоматически перезапускается с самого начала или получает изменения с этого момента.

При необходимости вы можете повторно запустить конвейер из раздела мониторинга. При этом измененные данные всегда фиксируются из предыдущей контрольной точки выбранного запуска конвейера.

Кроме того, аналитическое хранилище Azure Cosmos DB теперь поддерживает сбор измененных данных (CDC) для API Azure Cosmos DB для NoSQL и API Azure Cosmos DB для Mongo DB (общедоступная предварительная версия). Аналитическое хранилище Azure Cosmos DB позволяет эффективно использовать непрерывный и добавочный веб-канал измененных (вставленных, обновленных и удаленных) данных из аналитического хранилища.

Связанный контент

Начало работы с записью измененных данных в аналитическом хранилище Azure Cosmos DB.