Поделиться через

Форматы данных, поддерживаемые в Azure Synapse Data Explorer для приема (предварительная версия)

Это важно

Обозреватель данных Azure Synapse Analytics (предварительная версия) будет прекращен 7 октября 2025 г. После этой даты рабочие нагрузки, работающие в Synapse Data Explorer, будут удалены, а связанные данные приложения будут потеряны. Мы настоятельно рекомендуем мигрировать в Eventhouse на платформе Microsoft Fabric.

Программа Microsoft Cloud Migration Factory (CMF) предназначена для поддержки клиентов при миграции в Fabric. Программа предлагает практические ресурсы клавиатуры без затрат для клиента. Эти ресурсы назначаются в течение 6–8 недель с предопределенной и согласованной областью. Номинации клиентов принимаются от команды учетных записей Microsoft или непосредственно путем отправки запроса на помощь команде CMF.

Приемом данных называется процесс, при котором данные добавляются в таблицу и становятся доступными для запросов в Data Explorer. Для всех методов приема, кроме приема по запросу, данные необходимо преобразовать в один из поддерживаемых форматов. В следующей таблице перечислены и описаны форматы, которые служба Data Explorer поддерживает для приема данных.

Примечание.

Перед приемом данных убедитесь, что данные правильно отформатированы и определяют ожидаемые поля. Мы рекомендуем использовать ваш предпочитаемый валидатор для подтверждения валидности формата. Например, вы можете найти следующие валидаторы полезными для проверки файлов CSV или JSON.

Дополнительные сведения о том, почему может произойти сбой приема, см. в разделе Сбои приема и Коды ошибок приема в Data Explorer.

Формат Расширение Описание
ApacheAvro .avro Формат AVRO с поддержкой логических типов. Поддерживаются следующие кодеки сжатия: null, deflate, и snappy. Реализация модуля чтения в формате apacheavro основана на официальной библиотеке Apache Avro.
Avro .avro Реализация устаревшего формата AVRO на базе библиотеки .NET. Сейчас поддерживаются перечисленные ниже кодеки: null, deflate (для snappy — используйте формат данных ApacheAvro).
CSV .csv Текстовый файл, содержащий значения с разделителями-запятыми (,). См. RFC 4180: Общий формат и тип MIME для файлов в формате значений, разделенных запятой (CSV).
JSON (JavaScript Object Notation) .json Текстовый файл с объектами JSON, разделенными символами \n или \r\n. См. JSON Lines (JSONL).
MultiJSON .multijson Текстовый файл с массивом JSON, содержащим контейнеры свойств (каждый из которых представляет запись), или любым количеством контейнеров свойств, разделенных пробелами (\n или \r\n). Каждый контейнер свойств может распределяться по нескольким строкам Этот формат предпочтительнее JSON, если данные не являются контейнерами свойств.
ОРК (Оптическое Распознавание Символов) .orc Файл ORC.
паркет .parquet Паркетный файл.
PSV .psv Текстовый файл, содержащий значения, разделенные символами вертикальной черты (|).
НЕОБРАБОТАННЫЕ .raw Текстовый файл, все содержимое которого является одним строковым значением.
SCsv .scsv Текстовый файл, содержащий значения, разделенные символами точки с запятой (;).
SOHsv .sohsv Текстовый файл, в котором значения разделены символами SOH. (Символ 'Start of Header' (SOH) имеет кодовую точку ASCII 1; этот формат используется Hive на HDInsight.)
TSV .tsv Текстовый файл с значениями, разделенными табуляцией (\t).
TSVE .tsv Текстовый файл с значениями, разделенными табуляцией (\t). Для экранирования используется символ обратной косой черты (\).
ТЕКСТ .txt Текстовый файл, строки в котором разделены символами \n. Пустые строки пропускаются.
W3CLOGFILE .log Формат файла веб-журнала, стандартизированный W3C.

Поддерживаемые форматы сжатия данных

BLOB-объекты и файлы можно при желании сжать с помощью любого из следующих алгоритмов:

Сжатие Расширение
ГЗип .gz
Почтовый индекс .zip

Укажите сжатие, добавив расширение к имени блоба или файла.

Например:

  • MyData.csv.zip указывает BLOB-объект или файл в формате CSV, сжатый с помощью ZIP (архив или отдельный файл)
  • MyData.json.gz указывает BLOB-объект или файл в формате JSON, сжатый с помощью GZip.

Также поддерживаются имена BLOB-объектов или файлов, которые не включают расширение формата, а только указывают на сжатие (например, MyData.zip). В этом случае формат файла нужно указать как свойство приема, так как его нельзя определить.

Примечание.

  • Некоторые форматы сжатия сохраняют исходное расширение файла в потоке сжатых данных. Эти сведения о расширении обычно игнорируются при определении формата файла. Если формат файла нельзя определить из блоба (сжатого) или имени файла, его нужно указать в свойстве загрузки format.
  • Не следует путать с внутренним кодеком сжатия (на уровне блоков), который используется в форматах Parquet, AVRO и ORC. Внутреннее имя сжатия обычно добавляется к имени файла перед расширением формата файла, например: file1.gz.parquet, file1.snappy.avro и т. д.

Следующие шаги