Requisiti e limitazioni del catalogo Unity

Questa pagina descrive i requisiti di calcolo, i formati di file supportati, i vincoli di denominazione e le limitazioni note per il catalogo unity.

Supporto per l'area

Tutte le regioni supportano Unity Catalog. Per informazioni dettagliate, vedere Aree di Azure Databricks.

Requisiti di calcolo

Unity Catalog è supportato su cluster che eseguono Databricks Runtime 11.3 LTS o versioni successive. Il catalogo Unity è supportato per impostazione predefinita in tutte le versioni di calcolo SQL Warehouse.

I cluster che eseguono versioni precedenti di Databricks Runtime non supportano tutte le funzionalità del Unity Catalog GA.

Per accedere ai dati in Unity Catalog, i cluster devono essere configurati con la modalità di accesso corretta. Il catalogo unity è sicuro per impostazione predefinita. Se un cluster non è configurato con la modalità di accesso standard o dedicata, il cluster non può accedere ai dati in Unity Catalog. Vedere Modalità di accesso.

Per informazioni dettagliate sulle modifiche alle funzionalità di Unity Catalog in ogni versione di Databricks Runtime, vedere le note sulla versione.

Limitazioni

Unity Catalog presenta le limitazioni seguenti. Alcuni di questi sono specifici per le versioni precedenti di Databricks Runtime e per le modalità di accesso al calcolo.

I carichi di lavoro Structured Streaming presentano limitazioni aggiuntive, a seconda del runtime di Databricks e della modalità di accesso. Vedere Requisiti di calcolo standard e limitazioni e requisiti di calcolo dedicati e limitazioni.

Databricks rilascia regolarmente nuove funzionalità che riducono l'elenco.

• I gruppi che sono stati precedentemente creati in un'area di lavoro (ovvero, gruppi a livello di area di lavoro) non possono essere utilizzati nelle istruzioni di Unity Catalog GRANT. Questo serve a garantire una visione coerente dei gruppi che possono estendersi attraverso diversi spazi di lavoro. Per usare i gruppi nelle GRANT istruzioni, creare i gruppi a livello di account e aggiornare qualsiasi automazione per la gestione del principale o del gruppo, ad esempio i connettori SCIM, Okta e Microsoft Entra ID e Terraform, per fare riferimento agli endpoint dell'account anziché agli endpoint dell'area di lavoro. Consulta Fonti del gruppo.
• I carichi di lavoro in R non supportano l'uso di viste dinamiche per la sicurezza a livello di riga o colonna sul calcolo che esegue Databricks Runtime 15.3 e versioni inferiori.
  • Utilizzare una risorsa di calcolo dedicata che esegue Databricks Runtime 15.4 LTS o versioni successive per i carichi di lavoro in R che interrogano viste dinamiche. Tali carichi di lavoro richiedono anche uno spazio di lavoro abilitato per il calcolo senza server. Per informazioni dettagliate, vedere Controllo di accesso granulare sul calcolo dedicato.
• Una tabella gestita può essere clonata superficialmente in un'altra tabella gestita su Databricks Runtime 13.3 LTS e versioni successive. Una tabella esterna può essere clonata superficialmente in un'altra tabella esterna su Databricks Runtime 14.2 e versioni successive. Una tabella gestita non può essere clonata in modo superficiale in una tabella esterna. Inoltre, una tabella esterna non può essere clonata superficialmente in una tabella gestita. Per ulteriori informazioni, vedere Clone leggero per le tabelle di Unity Catalog.
• Il bucketing non è supportato per le tabelle del catalogo Unity. Se si eseguono comandi che tentano di creare una tabella in bucket nel catalogo unity, verrà generata un'eccezione.
• Scrivere nello stesso percorso o nella stessa tabella Delta Lake da aree di lavoro situate in regioni diverse può causare prestazioni inaffidabili se alcuni cluster accedono a Unity Catalog e altri no.
• La manipolazione delle partizioni per le tabelle esterne tramite comandi come ALTER TABLE ADD PARTITION richiede che la registrazione dei metadati delle partizioni sia abilitata. Vedere Individuazione delle partizioni per tabelle esterne.
• Quando si usa la modalità di sovrascrittura per le tabelle non in formato Delta, l'utente deve disporre del privilegio CREATE TABLE sullo schema padre e deve essere il proprietario dell'oggetto esistente OPPURE avere il privilegio MODIFY per l'oggetto .
• Le funzioni definite dall'utente Python non sono supportate in Databricks Runtime 12.2 LTS e versioni precedenti. Sono incluse le Funzioni Aggregate Definite dall'Utente (UDAFs), le Funzioni Tabulari Definite dall'Utente (UDTFs) e Pandas su Spark (applyInPandas e mapInPandas). Le UDF scalari di Python sono supportate in Databricks Runtime 13.3 LTS e versioni successive.
• Le UDF Scala non sono supportate in Databricks Runtime 14.1 e versioni precedenti su calcolo con modalità di accesso standard. Le funzioni scalari definite dall'utente sono supportate in Databricks Runtime 14.2 e versioni successive nell'ambiente di calcolo con modalità di accesso standard.
• I pool di thread Scala standard non sono supportati. Usare invece i pool di thread speciali in org.apache.spark.util.ThreadUtils, ad esempio org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Tuttavia, i seguenti pool di thread in ThreadUtils non sono supportati: ThreadUtils.newForkJoinPool e qualsiasi pool di thread ScheduledExecutorService.

• I log di diagnostica di Azure registrano solo gli eventi di Unity Catalog a livello di area di lavoro. Per visualizzare le azioni a livello di account, è necessario usare la tabella di sistema del registro di audit. Consultare la tabella di sistema del registro di controllo .

I modelli registrati in Unity Catalog presentano limitazioni aggiuntive. Vedere Limitazioni.

Quote di risorse

Unity Catalog impone limiti alle risorse su tutti gli oggetti sicurabili. Queste quote sono elencate in Limiti delle risorse. Se si prevede di superare questi limiti di risorse, contattare il team dell'account Azure Databricks.

È possibile monitorare l'utilizzo delle quote usando le API delle quote delle risorse di Unity Catalog. Consulta Monitora le quote di utilizzo delle risorse di Unity Catalog.