Condividi tramite

Pipeline di distribuzione lakehouse e integrazione di Git (anteprima)

Lakehouse si integra con le funzionalità di gestione del ciclo di vita in Microsoft Fabric, offrendo una collaborazione standardizzata tra tutti i membri del team di sviluppo durante tutta la vita del prodotto. La gestione del ciclo di vita facilita un processo efficace di controllo delle versioni e rilascio dei prodotti offrendo continuamente funzionalità e correzioni di bug in più ambienti. Per altre informazioni, vedere Che cos'è la gestione del ciclo di vita in Microsoft Fabric?.

Importante

Questa funzionalità è in anteprima.

Integrazione di Git di Lakehouse

Lakehouse è un elemento che contiene sia i metadati che i dati a cui si fa riferimento in più oggetti nell'area di lavoro. Lakehouse contiene tabelle, cartelle e collegamenti come elementi principali del contenitore di dati gestibili. Dal punto di vista del flusso di lavoro di sviluppo, gli oggetti dipendenti seguenti potrebbero fare riferimento a un lakehouse:

Il modello semantico predefinito e i metadati dell'endpoint di Analisi SQL sono correlati a un lakehouse e gestiti dal processo di aggiornamento Git per impostazione predefinita. Poiché i dati di principio non vengono rilevati in Git, vengono rilevati solo i metadati.

Rappresentazione di Git

Le informazioni sui lakehouse seguenti vengono serializzate e rilevate in un'area di lavoro connessa a Git:

  • Nome visualizzato
  • Descrizione
  • GUID logico

Nota

Il GUID logico rilevato è un identificatore tra aree di lavoro generato automaticamente che rappresenta un elemento e la relativa rappresentazione del controllo del codice sorgente.

Importante

Solo l'artefatto contenitore Lakehouse viene rilevato in Git nell'esperienza corrente. Le tabelle (Delta e non Delta) e le cartelle nella sezione File non sono tracciate né versionate in Git.

Funzionalità di integrazione di Git di Lakehouse

Sono disponibili le seguenti funzionalità:

  • Serializzazione dei metadati dell'oggetto lakehouse in una rappresentazione JSON Git.
  • Applicare le modifiche direttamente o usare una richiesta pull per controllare le modifiche ad aree di lavoro e rami upstream o downstream.
  • La ridenominazione dei lakehouse viene rilevata in Git. L'aggiornamento di un lakehouse rinominato rinomina anche il modello di dati semantico predefinito e l'endpoint di Analisi SQL.
  • Non viene applicata alcuna azione ai metadati delle tabelle e delle cartellee i dati di tali elementi vengono sempre mantenuti.
  • i metadati di OneLake Shortcuts vengono mantenuti in Git.

Funzionalità di integrazione git di OneLake Shortcuts

  • Le definizioni dei collegamenti nella sezione Tabelle e file vengono archiviate in un file denominato shortcuts.metadata.json nella cartella lakehouse in Git.
  • Le operazioni seguenti sono supportate e monitorate automaticamente: aggiunta, eliminazione e aggiornamenti di scorciatoie.
  • Le operazioni possono essere eseguite direttamente nell'interfaccia utente di Fabric o nel repository Git modificando il file shortcuts.metadata.json.
  • Le scorciatoie con destinazioni interne (Scorciatoie OneLake) vengono aggiornate automaticamente durante la sincronizzazione Git. Affinché la scorciatoia sia valida, tali riferimenti devono essere destinazioni valide nell'area di lavoro. Se gli obiettivi non sono validi per le scorciatoie definite nella sezione delle tabelle del lakehouse, tali scorciatoie vengono spostate nella sezione Unidentified finché i riferimenti non vengono risolti.

Importante

Prestare attenzione quando si modificano le proprietà di OneLake Shortcut direttamente nel file di shortcuts.metadata.json. Le modifiche errate alle proprietà, in particolare ai GUID, possono rendere la scorciatoia OneLake invalida quando gli aggiornamenti vengono applicati nuovamente all'area di lavoro.

Importante

Un aggiornamento da git sostituirà lo stato delle scorciatoie nell'area di lavoro. Tutte le scorciatoie nell'area di lavoro vengono create, aggiornate o eliminate in base allo stato ricevuto da Git.

Lakehouse nelle pipeline di distribuzione

Lakehouse è supportato nelle pipeline di distribuzione della gestione del ciclo di vita di Microsoft Fabric. Abilita le procedure consigliate per la segmentazione dell'ambiente.

Funzionalità di integrazione delle pipeline di distribuzione lakehouse:

  • Distribuzione tra aree di lavoro di sviluppo, test e produzione.

  • Lakehouse può essere rimosso come oggetto dipendente durante la distribuzione. È supportato anche il mapping di diversi lakehouse all'interno del contesto della pipeline di distribuzione.

    • Se non viene specificato nulla durante la configurazione della pipeline di distribuzione, nell'area di lavoro di destinazione viene creato un nuovo oggetto lakehouse vuoto con lo stesso nome. Le definizioni processo di Spark e notebook vengono mappate per fare riferimento al nuovo oggetto lakehouse nella nuova area di lavoro.

    • Se la dipendenza lakehouse è configurata per fare riferimento a un altro Lakehouse durante il tempo di configurazione della pipeline di distribuzione, ad esempio lakehouse upstream, un nuovo oggetto lakehouse vuoto con lo stesso nome viene ancora creato nell'area di lavoro di destinazione, ma i riferimenti a definizioniprocesso di Spark e notebook vengono mantenuti in un altro lakehouse come richiesto.

    • Viene eseguito il provisioning dei modelli semantici e degli endpoint di Analisi SQL come parte della distribuzione di Lakehouse.

  • Nessun oggetto all'interno del lakehouse viene sovrascritto.

  • Gli aggiornamenti del nome lakehouse possono essere sincronizzati tra aree di lavoro in un contesto della pipeline di distribuzione.

Scorciatoie OneLake nelle pipeline di distribuzione

  • Le definizioni delle scorciatoie vengono sincronizzate attraverso le fasi nelle pipeline di distribuzione.
  • I collegamenti con destinazioni esterne (ADLS Gen2, S3 e così via) sono identici in tutte le fasi dopo la distribuzione.
  • I collegamenti con destinazioni interne (Collegamenti OneLake) nella stessa area di lavoro vengono mappati automaticamente tra le fasi. Le scorciatoie che puntano al data warehouse e ai modelli semantici non vengono rimappate durante la distribuzione. Le tabelle, le cartelle e i file non vengono creati nell'area di lavoro di destinazione. Affinché la scorciatoia sia valida, questi riferimenti devono essere creati nell'area di lavoro di destinazione dopo la distribuzione.
  • Nello scenario in cui lo stesso collegamento deve avere come destinazione posizioni diverse in diverse fasi. Ad esempio, in Sviluppo puntare a una cartella specifica in Amazon S3 e in Produzione a una cartella diversa in ADLS Gen2. L'approccio consigliato consiste nell'usare le variabili nella definizione della scorciatoia. Per altre informazioni sulla libreria di variabili e su come usarla in Microsoft Fabric, vedere Che cos'è una libreria di variabili? (anteprima) articolo. Un'altra opzione è; dopo la distribuzione, aggiornare manualmente la definizione di OneLake Shortcut in Lakehouse o direttamente usando le API OneLake.

Importante

Una distribuzione sostituirà lo stato dei collegamenti nell'area di lavoro di destinazione. Tutti i collegamenti nel lakehouse di destinazione vengono aggiornati o eliminati in base allo stato nel lakehouse di origine. Nuovi collegamenti rapidi vengono creati nel lakehouse di destinazione. Fare sempre clic su "rivedere le modifiche" per comprendere le modifiche che verranno distribuite tra le aree di lavoro di origine e di destinazione.

Contenuto correlato