Asset gestiti versus esterni in Unity Catalog

Ogni oggetto a protezione diretta registrato in Unity Catalog è gestito centralmente. Questo significa che Unity Catalog gestisce i metadati dell'oggetto, consentendogli di controllare tutti gli aspetti della governance, tra cui l'accesso, il controllo e la derivazione.

Tuttavia, per gli asset di dati come tabelle e volumi, Unity Catalog può anche controllare la posizione di archiviazione e il ciclo di vita dei file di dati sottostanti nell'account cloud, che include come sono organizzati, ottimizzati e quando vengono eliminati. Questa distinzione è ciò che separa le risorse gestite da asset di dati esterni .

  • Asset gestiti: Il catalogo Unity controlla sia la governance (controllo di accesso, controllo, derivazione) che il ciclo di vita di archiviazione dei file sottostante (ottimizzazione dei file, modalità di organizzazione e eliminazione).
  • Asset esterni: Unity Catalog controlla solo la governance. Il ciclo di vita di archiviazione dei file sottostante è controllato dall'utente o da un sistema esterno.

Quando si registra un asset gestito in Unity Catalog, si mantiene la proprietà completa dei dati. I file di dati rimangono sempre nell'account cloud. Unity Catalog determina dove sono archiviati all'interno del tuo account, ma non li trasferisce ad Azure Databricks e non li possiede.

La distinzione tra gestiti ed esterni si applica solo a tabelle e volumi. Altri oggetti a protezione diretta del catalogo Unity, ad esempio visualizzazioni, modelli e funzioni, non dispongono di varianti gestite ed esterne.

Riepilogo delle differenze

La tabella seguente riepiloga le differenze tra asset gestiti ed esterni nel catalogo unity:

Proprietà Tabella o volume gestito nel Unity Catalog Tabella o volume esterno
Posizione di archiviazione Impostato da Unity Catalog (nell'account cloud) Impostata dall'utente
Gestione del ciclo di vita dei file Gestito dal catalogo unity (ottimizzazione, organizzazione, eliminazione) Gestito dall'utente
Comportamento di rilascio I file di dati vengono eliminati definitivamente dopo un periodo di conservazione di 8 giorni I file di dati rimangono sul posto
Proprietà dei dati

Usi della parola "gestire" nel Unity Catalog

La parola manage ha più usi in Unity Catalog. Questa sezione riepiloga il significato della gestione in contesti diversi.

Quando gli utenti dicono che un oggetto è gestito da Unity Catalog, in genere significa che Unity Catalog governa l'accesso. Questo vale per tutti gli oggetti del catalogo Unity registrati, incluse tabelle e volumi esterni.

La parola gestita in "tabella gestita" o "volume gestito" ha un significato più specifico: Unity Catalog determina dove vengono archiviati i file di dati sottostanti nell'account cloud e controlla il ciclo di vita dei file (ottimizzazione, organizzazione ed eliminazione). Questa operazione viene definita posizione di archiviazione gestita. I dati rimangono sempre nell'account cloud. Azure Databricks non è proprietario o non contiene i dati.

La parola MANAGE viene visualizzata anche come privilegio che è possibile assegnare agli oggetti di Unity Catalog. In genere, MANAGE consente a un utente di assegnare o revocare privilegi su, trasferire la proprietà di ed eliminare un oggetto senza essere il proprietario. Vedere MANAGE.

La tabella seguente riepiloga questi usi comuni di gestione:

Termine Meaning Si applica a
Gestito dal catalogo Unity Il Unity Catalog regola l'accesso, l'auditing e la tracciabilità per l'oggetto. Tutti gli oggetti Catalog di Unity registrati, incluse tabelle e volumi esterni
Tabella gestita o volume gestito Unity Catalog controlla anche la posizione di archiviazione sottostante (posizione di archiviazione gestita) e il ciclo di vita dei dati all'interno dell'account cloud. Solo tabelle e volumi
Posizione di archiviazione gestita Percorso designato all'interno dell'account cloud in cui Unity Catalog archivia i file di dati per tabelle e volumi gestiti. È possibile configurare un percorso di archiviazione gestito a livello di metastore, catalogo o schema. Consultare Specificare una posizione di archiviazione gestita in Unity Catalog. Solo tabelle e volumi
MANAGE privilegio Privilegio che consente a un utente di assegnare o revocare privilegi su, trasferire la proprietà di ed eliminare un oggetto senza essere il proprietario. Vedere MANAGE. Tutti gli oggetti garantiti di sicurezza di Unity Catalog

Tabelle gestite ed esterne

Una tabella gestita di Unity Catalog è una tabella in cui Unity Catalog determina il percorso di archiviazione per i file di dati sottostanti. Il Catalogo Unity archivia le tabelle gestite nella posizione di archiviazione gestita definita nello schema, nel catalogo o nel metastore contenitore. Quando si elimina una tabella gestita, Unity Catalog elimina i file di dati sottostanti. Le tabelle gestite usano il formato Delta o Apache Iceberg.

Una tabella esterna è una tabella in cui si specifica il percorso di archiviazione per i file di dati sottostanti. Quando si elimina una tabella esterna, Unity Catalog rimuove i metadati della tabella dal metastore, ma i file di dati sottostanti rimangono attivi. Le tabelle esterne supportano più formati, tra cui Delta, CSV, JSON, Avro, Parquet e ORC.

Per altre informazioni sui tipi di tabella, vedere Tipi di tabella di Databricks Unity Catalog.

Sia le tabelle gestite che esterne supportano operazioni di lettura, scrittura e creazione di accesso da motori esterni tramite API aperte, tra cui l'API REST unity e il catalogo REST Iceberg (IRC). Ciò significa che le tabelle gestite non causano il blocco del fornitore. Qualsiasi motore che supporta queste API può accedere alle tabelle gestite. Vedere Accedere ai dati di Databricks usando sistemi esterni.

Volumi gestiti ed esterni

Un volume gestito di Unity Catalog è un volume in cui Il catalogo di Unity determina la posizione di archiviazione. Unity Catalog archivia automaticamente i volumi gestiti nella posizione di archiviazione gestita dello schema contenitore all'interno dell'account cloud. Come per le tabelle gestite, si mantiene la proprietà completa dei dati sottostanti. Quando si elimina un volume gestito, Unity Catalog elimina i file di dati sottostanti.

Un volume esterno è un volume in cui si specifica il percorso di archiviazione. Il percorso deve essere un percorso definito da una posizione esterna del Catalogo Unity. Quando si elimina un volume esterno, Unity Catalog rimuove la definizione del volume, ma i file di dati sottostanti rimangono attivi.

Per altre informazioni sui volumi, vedere Che cosa sono i volumi del catalogo Unity?.