Формат JSON в фабрике данных в Microsoft Fabric

В этой статье описывается настройка формата JSON в конвейере фабрики данных в Microsoft Fabric.

Поддерживаемые возможности

Формат JSON поддерживается для следующих действий и соединителей в качестве источника и назначения.

Формат JSON в действии копирования

Чтобы настроить формат JSON, выберите подключение в источнике или месте назначения действия копирования конвейера, а затем выберите JSON в раскрывающемся списке формата файла. Выберите параметры для дальнейшей настройки этого формата.

Формат JSON в качестве источника

После выбора параметров в разделе "Формат файла" в диалоговом окне "Всплывающие параметры формата файла" отображаются следующие свойства.

• Тип сжатия: выберите кодек сжатия, используемый для чтения JSON-файлов в раскрывающемся списке. Вы можете выбрать из None, bzip2, gzip, deflate, ZipDeflate, TarGzip или tar.

  Если выбрать ZipDeflate в качестве типа сжатия, сохраните имя ZIP-файла в виде папки в разделе "Дополнительные параметры" на вкладке "Источник ".

  • Сохраните имя ZIP-файла в виде папки: указывает, следует ли сохранять имя исходного ZIP-файла в виде структуры папок во время копирования.
    • Если этот флажок установлен (по умолчанию), служба записывает распакованные файлы в <specified file path>/<folder named as source zip file>/.
    • Если этот флажок снят, служба записывает распакованные файлы непосредственно в <specified file path>. Чтобы избежать непредвиденных ситуаций, убедитесь в том, что в разных исходных ZIP-файлах нет файлов с одинаковыми именами.

  Если выбрать TarGzip/tar в качестве типа сжатия, Показать имя файла сжатия как папку отображается в разделе "Дополнительные параметры" на вкладке "Источник".

  • Сохранение имени файла сжатия в виде папки: указывает, следует ли сохранять исходное сжатое имя файла в виде структуры папок во время копирования.
    • Если этот флажок установлен (по умолчанию), служба записывает распакованные файлы в <specified file path>/<folder named as source compressed file>/.
    • Если этот флажок снят, служба записывает распакованные файлы непосредственно в <specified file path>. Чтобы избежать непредвиденных ситуаций, убедитесь в том, что в разных исходных файлах нет файлов с одинаковыми именами.

• Уровень сжатия: коэффициент сжатия. Вы можете выбрать один из самых быстрых или оптимальных вариантов.

  • Самый быстрый: операция сжатия должна выполняться как можно быстрее, даже если результирующий файл не является оптимальным сжатием.

  • Optimal: операция сжатия должна выполняться оптимально, даже если для ее завершения требуется больше времени. Дополнительные сведения см. в статье «Уровень сжатия».

• Кодировка: укажите тип кодирования, используемый для чтения тестовых файлов. Выберите один тип из раскрывающегося списка. Значение по умолчанию — UTF-8.

Формат JSON в качестве назначения

После выбора Настройки в диалоговом окне настроек формата файла отображаются следующие свойства.

• Тип сжатия: выберите кодек сжатия, используемый для записи JSON-файлов в раскрывающемся списке. Вы можете выбрать из None, bzip2, gzip, deflate, ZipDeflate, TarGzip или tar.

• Уровень сжатия: коэффициент сжатия. Вы можете выбрать вариант "Оптимальный " или "Быстрый".

  • Самый быстрый: операция сжатия должна выполняться как можно быстрее, даже если результирующий файл не является оптимальным сжатием.

  • Optimal: операция сжатия должна выполняться оптимально, даже если для ее завершения требуется больше времени. Дополнительные сведения см. в статье «Уровень сжатия».

• Кодировка: укажите тип кодирования, используемый для записи тестовых файлов. Выберите один тип из раскрывающегося списка. Значение по умолчанию — UTF-8.

В разделе "Дополнительные параметры" на вкладке "Назначение " отображаются следующие свойства формата JSON.

• Шаблон файла: укажите шаблон данных, хранящихся в каждом JSON-файле. Допустимые значения: набор объектов (строки JSON) и массив объектов. Значение по умолчанию — "Набор объектов". Подробные сведения об этих шаблонах см. в разделе Шаблоны файлов JSON.

Шаблоны файлов JSON

При копировании данных из файлов JSON действие копирования может автоматически определять и анализировать указанные ниже шаблоны файлов JSON. При записи данных в JSON-файлы можно настроить шаблон файла в месте назначения действия копирования.

• Тип 1: setOfObjects

  Каждый файл содержит один объект, строки JSON или сцепленные объекты.

  • Пример единого объекта JSON

    {
        "time": "2015-04-29T07:12:20.9100000Z",
        "callingimsi": "466920403025604",
        "callingnum1": "678948008",
        "callingnum2": "567834760",
        "switch1": "China",
        "switch2": "Germany"
    }
    

  • Строки JSON (по умолчанию для назначения)

    {"time":"2015-04-29T07:12:20.9100000Z","callingimsi":"466920403025604","callingnum1":"678948008","callingnum2":"567834760","switch1":"China","switch2":"Germany"}
    {"time":"2015-04-29T07:13:21.0220000Z","callingimsi":"466922202613463","callingnum1":"123436380","callingnum2":"789037573","switch1":"US","switch2":"UK"}
    {"time":"2015-04-29T07:13:21.4370000Z","callingimsi":"466923101048691","callingnum1":"678901578","callingnum2":"345626404","switch1":"Germany","switch2":"UK"}
    

  • Пример объединенного JSON-файла

    {
        "time": "2015-04-29T07:12:20.9100000Z",
        "callingimsi": "466920403025604",
        "callingnum1": "678948008",
        "callingnum2": "567834760",
        "switch1": "China",
        "switch2": "Germany"
    }
    {
        "time": "2015-04-29T07:13:21.0220000Z",
        "callingimsi": "466922202613463",
        "callingnum1": "123436380",
        "callingnum2": "789037573",
        "switch1": "US",
        "switch2": "UK"
    }
    {
        "time": "2015-04-29T07:13:21.4370000Z",
        "callingimsi": "466923101048691",
        "callingnum1": "678901578",
        "callingnum2": "345626404",
        "switch1": "Germany",
        "switch2": "UK"
    }
    

• Тип 2: arrayOfObjects

  Каждый файл содержит массив объектов.

  [
      {
          "time": "2015-04-29T07:12:20.9100000Z",
          "callingimsi": "466920403025604",
          "callingnum1": "678948008",
          "callingnum2": "567834760",
          "switch1": "China",
          "switch2": "Germany"
      },
      {
          "time": "2015-04-29T07:13:21.0220000Z",
          "callingimsi": "466922202613463",
          "callingnum1": "123436380",
          "callingnum2": "789037573",
          "switch1": "US",
          "switch2": "UK"
      },
      {
          "time": "2015-04-29T07:13:21.4370000Z",
          "callingimsi": "466923101048691",
          "callingnum1": "678901578",
          "callingnum2": "345626404",
          "switch1": "Germany",
          "switch2": "UK"
      }
  ]
  

Сводка таблицы

JSON в качестве источника

При использовании формата JSON поддерживаются следующие свойства в разделе источника действия копирования.

JSON в качестве назначения

Следующие свойства поддерживаются в разделе назначения действия копирования при использовании формата JSON.

Связанный контент

• Обзор соединителей