Форматы файлов и кодеки сжатия, поддерживаемые активностью копирования в конвейерах Azure Data Factory и Azure Synapse

ПРИМЕНИМО К: Azure Data Factory Azure Synapse Analytics

Совет

Data Factory в Microsoft Fabric — это следующее поколение Azure Data Factory с более простой архитектурой, встроенным ИИ и новыми функциями. Если вы не знакомы с интеграцией данных, начните с Fabric Data Factory. Существующие рабочие нагрузки ADF могут обновляться до Fabric для доступа к новым возможностям в области обработки и анализа данных, аналитики в режиме реального времени и отчетов.

Эта статья относится к следующим соединителям: Amazon S3, Amazon S3 совместимое хранилище, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Files, File System, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage и SFTP.

Azure Data Factory поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

Вы можете использовать Copy activity для копирования файлов as-is между двумя хранилищами данных на основе файлов, в этом случае данные копируются эффективно без сериализации или десериализации.

Кроме того, можно анализировать или создавать файлы определенного формата. Например, можно выполнить следующее:

  • Копирование данных из базы данных SQL Server и запись в Azure Data Lake Storage Gen2 в формате Parquet.
  • Копируются файлы в текстовом формате (CSV) из локальной файловой системы и записываются в Azure Blob-хранилище в формате Avro.
  • Скопируйте zippped-файлы из локальной файловой системы, распаковывайте их на лету и записывайте извлеченные файлы в Azure Data Lake Storage Gen2.
  • Скопируйте данные в формате Gzip с сжатым текстом (CSV) из хранилища BLOB-объектов Azure и напишите его в Azure SQL Database.
  • многие другие действия, требующие сериализации и десериализации или сжатия и распаковки.

Связанный контент

См. другие статьи о действиях копирования:

  • Last updated on