Condividi tramite

Mapping AVRO

  • Articolo

Si applica a: ✅Microsoft Fabric✅Azure Esplora dati

Usare il mapping AVRO per eseguire il mapping dei dati in ingresso alle colonne all'interno di tabelle quando il file di origine di inserimento è in formato AVRO.

Ogni elemento nell'elenco di mapping definisce il mapping per una colonna specifica. Questi elementi vengono costruiti da tre proprietà: column, datatypee properties. Altre informazioni sono disponibili nella panoramica dei mapping dei dati.

Ogni elemento di mapping AVRO deve contenere una delle proprietà facoltative seguenti:

Proprietà Type Descrizione
Campo string Nome del campo nel record AVRO.
Percorso string Se il valore inizia con $, viene considerato come percorso del campo nel documento AVRO. Questo percorso specifica la parte del documento AVRO che diventa il contenuto della colonna nella tabella. Il percorso che indica l'intero record AVRO è $. Se il valore non inizia con $, viene considerato come un valore costante. I percorsi che includono caratteri speciali devono essere preceduti da caratteri di escape come ['Nome proprietà']. Per altre informazioni, vedere sintassi JSONPath.
ConstValue string Valore costante da usare per una colonna invece di un valore all'interno del file AVRO.
Trasformazione string Trasformazione che deve essere applicata al contenuto con trasformazioni di mapping.

Nota

Field e Path si escludono a vicenda.

Le alternative seguenti sono equivalenti:

[
  {"Column": "event_name", "Properties": {"Path": "$.EventName"}}
]

[
  {"Column": "event_name", "Properties": {"Field": "EventName"}}
]

Importante

Per l'inserimento in coda:

  • Se la tabella a cui viene fatto riferimento nel mapping non esiste nel database, viene creata automaticamente, dato che per tutte le colonne vengono specificati tipi di dati validi.
  • Se una colonna a cui si fa riferimento nel mapping non esiste nella tabella, viene aggiunta automaticamente alla tabella come ultima colonna alla prima inserimento dei dati per tale colonna, dato che per la colonna viene specificato un tipo di dati valido. Per aggiungere nuove colonne a un mapping, usare il comando di mapping dell'inserimento con estensione alter.
  • I dati vengono inseriti in batch usando le proprietà di inserimento. Le proprietà di mapping di inserimento più distinte usate, ad esempio valori ConstValue diversi, diventano più frammentate l'inserimento, il che può causare una riduzione delle prestazioni.

Esempi

Serializzazione JSON

Il mapping di esempio seguente viene serializzato come stringa JSON quando viene fornito come parte del comando di gestione .ingest.

[
  {"Column": "event_timestamp", "Properties": {"Field": "Timestamp"}},
  {"Column": "event_name",      "Properties": {"Field": "Name"}},
  {"Column": "event_type",      "Properties": {"Field": "Type"}},
  {"Column": "event_time",      "Properties": {"Field": "Timestamp", "Transform": "DateTimeFromUnixMilliseconds"}},
  {"Column": "ingestion_time",  "Properties": {"ConstValue": "2021-01-01T10:32:00"}},
  {"Column": "full_record",     "Properties": {"Path": "$"}}
]

In questo caso il mapping JSON serializzato è incluso nel contesto del comando di gestione .ingest.

.ingest into Table123 (@"source1", @"source2")
  with
  (
      format = "AVRO",
      ingestionMapping =
      ```
      [
        {"Column": "column_a", "Properties": {"Field": "Field1"}},
        {"Column": "column_b", "Properties": {"Field": "$.[\'Field name with space\']"}}
      ]
      ```
  )

Mapping precreato

Quando il mapping viene creato in modo preliminare, fare riferimento al mapping in base al nome nel comando di gestione .ingest.

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="AVRO",
        ingestionMappingReference = "Mapping_Name"
    )

Mapping di identità

Usare il mapping AVRO durante l'inserimento senza definire uno schema di mapping (vedere Mapping delle identità).

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="AVRO"
    )

Contenuto correlato

  • Usare lo strumento di avrotize k2a per creare uno schema Avro.