Поделиться через


Что представляет собой операция копирования в службе обработки данных Microsoft Fabric?

Задание копирования в Data Factory позволяет легко перемещать данные из вашего источника в пункт назначения — без необходимости использования конвейеров. С помощью простого интерактивного интерфейса можно настроить передачу данных с помощью встроенных шаблонов для пакетной и добавочной копии. Независимо от того, новичок ли вы в интеграции данных или просто хотите быстрее доставить данные туда, куда им нужно попасть, задача копирования предлагает гибкое и удобное решение.

Некоторые преимущества задания копирования по сравнению с другими методами перемещения данных включают:

  • Простое использование. Настройка и мониторинг копирования данных с помощью простого интерактивного интерфейса — никаких технических знаний не требуется.
  • Эффективное: копирование только новых или измененных данных для экономии времени и ресурсов с минимальными инструкциями вручную.
  • Гибкий: выберите, какие данные следует перемещать, сопоставлять столбцы, задавать способ записи данных и планировать выполнение заданий один раз или регулярно.
  • Высокая производительность. Перемещение больших объемов данных быстро и надежно благодаря бессерверной масштабируемой системе.

Снимок экрана: задание копирования и область результатов.

Поддерживаемые соединители

С помощью задания копирования можно перемещать данные между облачными хранилищами данных или из локальных источников, находящихся за брандмауэром или в виртуальной сети с помощью шлюза. Задание копирования поддерживает следующие хранилища данных в качестве источников или назначений:

Соединитель Источник Назначение Полная загрузка Добавочная загрузка (предварительная версия) Добавить Переопределить Слияние Локальный шлюз данных
База данных Azure SQL
Оракул
Локальный SQL Server
Склад тканей
Таблица Fabric Lakehouse
Файл "Fabric Lakehouse"
Amazon S3
Azure Data Lake Storage 2-го поколения
Azure Blob-хранилище
Управляемый экземпляр SQL Azure
Снежинка
Azure Synapse Analytics
Обозреватель данных Azure
Azure PostgreSQL
Google Cloud Storage
MySQL
Azure MySQL
PostgreSQL
База данных SQL в Fabric (предварительная версия)
Совместимость с Amazon S3
SAP HANA
ODBC (Интерфейс открытой базы данных)
Amazon RDS для SQL Server
Google BigQuery (сервис анализа данных)
Salesforce
Облако службы Salesforce

Примечание.

В настоящее время задание копирования не поддерживает промежуточное копирование. В результате копирование данных из таких источников, как Snowflake, Хранилище Fabric и пул SQL Synapse, с помощью OPDG может не работать в некоторых случаях. Мы работаем над улучшением этого и добавлением дополнительных соединителей. Вы можете поделиться отзывами о Fabric Ideas.

Поведение при копировании

Вы можете выбрать способ доставки данных:

  • Полный режим копирования: каждый раз, когда задание выполняется, он копирует все данные из источника в место назначения.

  • Режим добавочного копирования (предварительная версия): первый запуск копирует все, а будущие запуски перемещают только новые или измененные данные. Для баз данных это означает, что копируются только новые или обновленные строки. Если база данных использует CDC (запись измененных данных), вставляются, обновляются и удаляются строки. Для источников хранилища копируются файлы с более новым временем последнего изменения.

    Примечание.

    Режим добавочного копирования в настоящее время находится в режиме предварительной версии.

Вы также можете решить, как данные записываются в место назначения:

По умолчанию задание копирования добавляет новые данные, поэтому вы сохраняете полную историю. Если вы предпочитаете, можно объединить (обновить существующие строки с помощью ключевого столбца) или перезаписать (заменить существующие данные). При выборе слияния задание копирования использует первичный ключ по умолчанию, если он существует.

  • При копировании в базу данных: новые строки добавляются в таблицы. Для поддерживаемых баз данных можно также объединить или перезаписать существующие данные.
  • При копировании в хранилище: новые данные сохраняются в виде новых файлов. Если файл с тем же именем уже существует, он заменен.

Инкрементный столбец

При использовании режима добавочного копирования вы выбираете добавочный столбец для каждой таблицы. Этот столбец действует как маркер, поэтому задание копирования знает, какие строки являются новыми или обновленными с момента последнего запуска. Как правило, инкрементный столбец — это значение даты и времени или число, которое увеличивается с каждой новой строкой. Если ваша исходная база данных использует Change Data Capture (CDC), вам не нужно выбирать столбец — копировальная задача автоматически находит изменения для вас.

Доступность по регионам

Задание копирования имеет ту же региональную доступность, что и Fabric.

Цены

Задание копирования использует тот же счетчик выставления счетов: Перемещение данных, с идентичным уровнем потребления.