Определение потока данных

В этой статье представлена разбивка структуры определения для элементов потока данных.

Части определения

Путь к части определения тип Обязательно Описание
queryMetadata.json contentDetails метаданных (JSON) правда Описание метаданных, связанных с параметрами запроса в потоке данных
mashup.pq Mashup ContentDetails (PQ) правда Описание содержимого полезных данных с помощью mashup. Он содержит последовательность всех шагов, выполняемых в потоке данных

Метаданные ContentDetails

Описание содержимого полезных данных

Имя Тип Обязательно Описание
formatVersion Струна правда Версия формата элемента потока данных. Единственное допустимое значение — 202502
имя Струна правда Имя mashup
computeEngineSettings ComputeEngineSettings неправда Параметры подсистемы вычислений
queryGroups QueryGroup[] неправда Группы запросов
documentLocale Струна неправда Языковой стандарт документа; Коды языка BCP-47 должны быть кодами языка BCP-47
gatewayObjectId Струна неправда Идентификатор объекта шлюза
запросыMetadata ЗапросыMetadata неправда Метаданные запросов
блат подключение[] неправда Соединения пользователей
fastCombine булевый неправда Указывает, следует ли использовать быстрое объединение. True — используйте быстрое объединение. False (по умолчанию) — не используйте быстрое объединение
allowNativeQueries булевый неправда Указывает, разрешены ли собственные запросы. True (по умолчанию) — разрешить собственные запросы. False — не разрешать собственные запросы
skipAutomaticTypeAndHeaderDetection булевый неправда Указывает, следует ли пропускать автоматическое обнаружение типов и заголовков. True — пропустить обнаружение. False (по умолчанию) — не пропускать обнаружение
параметрический булевый неправда Указывает, используется ли параметрический режим. True — используется параметрический режим. False (по умолчанию) — параметрический режим не используется

Содержимое ComputeEngineSettings

Имя Тип Обязательно Описание
allowFastCopy булевый неправда Указывает, включена ли быстрая копия или нет. True (по умолчанию) — разрешить быструю копию. False. Не разрешать быструю копию
maxConcurrency Целое число неправда Максимальное количество параллельных вычислений, используемых при выполнении потока данных

Содержимое queryGroups

Имя Тип Обязательно Описание
идентификатор Струна неправда Идентификатор группы запросов
имя Струна неправда Имя группы запросов
описание Струна неправда Описание группы запросов
parentId Струна неправда Родительский идентификатор группы запросов
заказ Целое число неправда Порядок группы запросов

Содержимое запросовMetadata

Имя Тип Обязательно Описание
queryId Струна правда Идентификатор запроса
queryName Струна правда Имя запроса
queryGroupId Струна неправда Идентификатор группы запросов
isHidden булевый неправда Указывает, скрыт ли запрос. True — запрос скрыт. False (по умолчанию) — запрос не скрыт
loadEnabled булевый неправда Указывает, включена ли загрузка. True (по умолчанию) — загрузка включена. False — загрузка не включена

Содержимое подключения

Имя Тип Обязательно Описание
путь Струна неправда Путь подключения
добрый Струна неправда Тип подключения
connectionId Струна неправда Идентификатор подключения

Пример метаданных ContentDetails

{
  "formatVersion": "202502",
  "computeEngineSettings": {
    "allowFastCopy": true,
    "maxConcurrency": 1
  },
  "name": "SampleDataflowGen",
  "queryGroups": [
    
  ],
  "documentLocale": "en-US",
  "gatewayObjectId": null,
  "queriesMetadata": {
    "publicholidays": {
      "queryId": "a0a0a0a0-bbbb-cccc-dddd-e1e1e1e1e1e1",
      "queryName": "publicholidays",
      "queryGroupId": null,
      "isHidden": false,
      "loadEnabled": true
    }
  },
  "connections": [
    {
      "path": "Lakehouse",
      "kind": "Lakehouse",
      "connectionId": "{\"ClusterId\":\"b1b1b1b1-cccc-dddd-eeee-f2f2f2f2f2f2\",\"DatasourceId\":\"c2c2c2c2-dddd-eeee-ffff-a3a3a3a3a3a3\"}"
    }
  ],
  "fastCombine": false,
  "allowNativeQueries": true,
  "skipAutomaticTypeAndHeaderDetection": false
}

Пример Mashup ContentDetails

[StagingDefinition = [Kind = "FastCopy"]]
section Section1;
shared publicholidays = 
let  Source = Lakehouse.Contents([]),  
#"Navigation 1" = Source{[workspaceId = "d3d3d3d3-eeee-ffff-aaaa-b4b4b4b4b4b4"]}[Data],  
#"Navigation 2" = #"Navigation 1"{[lakehouseId = "e4e4e4e4-ffff-aaaa-bbbb-c5c5c5c5c5c5"]}[Data],  
#"Navigation 3" = #"Navigation 2"{[Id = "publicholidays", ItemKind = "Table"]}[Data],  
#"Changed column type" = Table.TransformColumnTypes(#"Navigation 3", {{"normalizeHolidayName", type text}}),  
#"Lowercased text" = Table.TransformColumns(#"Changed column type", {{"countryRegionCode", each Text.Lower(_), type nullable text}}),  
#"Uppercased text" = Table.TransformColumns(#"Lowercased text", {{"normalizeHolidayName", each Text.Upper(_), type nullable text}}),  
#"Calculated text length" = Table.TransformColumns(#"Uppercased text", {{"countryOrRegion", each Text.Length(_), type nullable Int64.Type}})in  #"Calculated text length";
  • Last updated on