Добавочная загрузка данных из исходного хранилища данных в целевое

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В решениях для интеграции данных добавочная (разностная) загрузка данных после начальной загрузки данных является широко используемым сценарием. В руководствах этого раздела показаны различные способы пошаговой загрузки данных с помощью Фабрики данных Azure.

В этом случае следует определить предел в базе данных-источнике. Предел представляет собой столбец, содержащий метку времени последнего обновления или добавочный ключ. Решение разностной загрузки загружает измененные данные между значениями старого и нового пределов. Рабочий процесс для этого подхода показан на следующей схеме:

Пошаговые инструкции представлены в следующих статьях:

• Пошаговая загрузка данных из Базы данных SQL Azure в хранилище BLOB-объектов Azure
• Добавочное копирование данных из нескольких таблиц в экземпляре SQL Server в Базу данных SQL Azure

См. шаблоны:

• Разностное копирование с использованием контрольной таблицы

Технология отслеживания изменений — это упрощенное решение в SQL Server и Базе данных SQL Azure, которое предоставляет эффективный механизм отслеживания изменений для приложений. Эта технология позволяет приложению легко идентифицировать вставленные, обновленные или удаленные данные.

Рабочий процесс для этого подхода показан на следующей схеме:

Пошаговые инструкции см. в следующем руководстве.

• Добавочная загрузка данных из Базы данных SQL Azure в хранилище BLOB-объектов Azure с использованием сведений об отслеживании изменений

Новые и измененные файлы можно скопировать в целевое хранилище только с помощью LastModifiedDate. ADF проверит все файлы из исходного хранилища, применит фильтр файла по LastModifiedDate и скопирует только новые и обновленные файлы (с момента последнего копирования) в целевое хранилище. Имейте в виду, что если вы разрешите ADF проверить большой объем файлов, но скопировать только некоторые из них, это все равно займет много времени.

Пошаговые инструкции см. в следующем руководстве.

• Incrementally copy new and changed files based on LastModifiedDate by using the Copy Data tool (Добавочное копирование новых и измененных файлов на основе параметра LastModifiedDate с помощью средства "Копирование данных")

См. шаблоны:

• Копирование новых файлов с использованием параметра LastModifiedDate

Можно скопировать только новые файлы или папки, если они секционированы по времени и информация о временной секции указана в имени файла или папки (например, /yyyy/mm/dd/file.csv). Это самый оптимальный с точки зрения производительности подход к добавочной загрузке новых файлов.

Пошаговые инструкции см. в следующем руководстве.

• Incrementally copy new files based on time partitioned file name by using the Copy Data tool (Добавочное копирование новых файлов на основе имени файла, секционированного по времени, с помощью средства "Копирование данных")

Перейдите к следующему руководству: