Come distribuire cluster Big Data di SQL Server in Kubernetes

Si applica a:SQL Server 2019 (15.x)

Il cluster Big Data di SQL Server viene distribuito come contenitori Docker in un cluster Kubernetes. Questa è una panoramica dei passaggi di installazione e configurazione:

• Configurare un cluster Kubernetes in una singola macchina virtuale, un cluster di macchine virtuali, nel servizio Azure Kubernetes, in Red Hat OpenShift o in Azure Red Hat OpenShift (ARO).
• Installare lo strumento di configurazione del cluster dell'interfaccia a riga di comando di Azure Data (azdata) sulla macchina client.
• Distribuire un cluster Big Data di SQL Server in un cluster Kubernetes.

Tested configurations

Vedere Configurazioni testate per un elenco completo delle varie piattaforme Kubernetes convalidate per la distribuzione di cluster Big Data di SQL Server.

Edizioni di SQL Server

Kubernetes

Configurazione del cluster Kubernetes

Se si dispone già di un cluster Kubernetes che soddisfa i prerequisiti precedenti, è possibile passare direttamente al passaggio di distribuzione. Questa sezione presuppone una conoscenza di base dei concetti di Kubernetes. Per informazioni dettagliate su Kubernetes, vedere la documentazione di Kubernetes.

È possibile scegliere di distribuire Kubernetes nei modi seguenti:

Verificare la configurazione di Kubernetes

Eseguire il kubectl comando per visualizzare la configurazione del cluster. Assicurarsi che kubectl punti al contesto corretto del cluster.

kubectl config view

Dopo aver configurato il cluster Kubernetes, è possibile procedere con la distribuzione di un nuovo cluster Big Data di SQL Server. Se si esegue l'aggiornamento da una versione precedente, vedere Come aggiornare i cluster Big Data di SQL Server.

Assicurarsi di aver configurato l'archiviazione

La maggior parte delle distribuzioni di cluster Big Data deve avere un'archiviazione permanente. A questo punto, è necessario assicurarsi di avere un piano per il modo in cui si fornirà l'archiviazione permanente nel cluster Kubernetes prima della distribuzione.

• Se si esegue la distribuzione nel servizio Azure Kubernetes, non è necessaria alcuna configurazione di archiviazione. Azure Kubernetes Service fornisce classi di archiviazione predefinite con provisioning dinamico. È possibile personalizzare la classe di archiviazione (default o managed-premium) nel file di configurazione della distribuzione. I profili predefiniti usano una default classe di archiviazione.
• Se si esegue la distribuzione in un cluster Kubernetes distribuito con kubeadm, è necessario assicurarsi di disporre di spazio di archiviazione sufficiente per un cluster della scalabilità desiderata disponibile e configurato per l'uso. Se si vuole personalizzare la modalità di utilizzo dello spazio di archiviazione, è necessario eseguire questa operazione prima di procedere. Vedere Persistenza dei dati con cluster Big Data di SQL Server in Kubernetes.

Installare gli strumenti Big Data di SQL Server 2019

Prima di distribuire un cluster Big Data di SQL Server 2019, installare gli strumenti Big Data:

• CLI di Azure per i Dati (azdata)
• kubectl
• Azure Data Studio
• Estensione di virtualizzazione dei dati per Azure Data Studio
• Azure CLI, se si esegue la distribuzione in AKS

Deployment overview

La maggior parte delle impostazioni del cluster Big Data è definita in un file di configurazione della distribuzione JSON. È possibile usare un profilo di distribuzione predefinito per il servizio Azure Kubernetes e i cluster Kubernetes creati con kubeadm oppure è possibile personalizzare il proprio file di configurazione della distribuzione da usare durante l'installazione. Per motivi di sicurezza, le impostazioni di autenticazione vengono passate tramite variabili di ambiente.

Le sezioni seguenti forniscono altri dettagli su come configurare le distribuzioni di cluster Big Data, nonché esempi di personalizzazioni comuni. Inoltre, è sempre possibile modificare il file di configurazione della distribuzione personalizzata usando un editor come VS Code, ad esempio.

Default configurations

Le opzioni di distribuzione del cluster Big Data sono definite nei file di configurazione JSON. È possibile avviare la personalizzazione della distribuzione del cluster dai profili di distribuzione predefiniti disponibili nell'interfaccia della riga di comando dei dati di Azure (azdata).

Eseguire questo comando per trovare i modelli disponibili:

azdata bdc config list -o table 

I modelli seguenti sono disponibili a partire da SQL Server 2019 CU5:

È possibile distribuire un cluster Big Data eseguendo azdata bdc create. In questo modo viene richiesto di scegliere una delle configurazioni predefinite e quindi di eseguire la distribuzione.

La prima volta che si esegue l'interfaccia della riga di comando dei dati di Azure (azdata) è necessario includere --accept-eula=yes per accettare il contratto di licenza con l'utente finale.

azdata bdc create --accept-eula=yes

In questo scenario vengono richieste le impostazioni che non fanno parte della configurazione predefinita, ad esempio le password.

Custom configurations

È anche possibile personalizzare la distribuzione in base ai carichi di lavoro che si prevede di eseguire. Non è possibile modificare la scalabilità (numero di repliche) o le impostazioni di archiviazione per i servizi cluster Big Data dopo le distribuzioni, pertanto è necessario pianificare attentamente la configurazione della distribuzione per evitare problemi di capacità. Per personalizzare la distribuzione, seguire questa procedura:

1. Iniziare con uno dei profili di distribuzione standard che corrispondono all'ambiente Kubernetes. È possibile usare il azdata bdc config list comando per elencarli:

   azdata bdc config list
   

2. Per personalizzare la distribuzione, creare una copia del profilo di distribuzione con il azdata bdc config init comando . Ad esempio, il comando seguente crea una copia dei file di configurazione della aks-dev-test distribuzione in una directory di destinazione denominata custom:

   azdata bdc config init --source aks-dev-test --target custom
   

   Tip

   --target specifica una directory che contiene i file bdc.json di configurazione e control.json, in base al --source parametro .

3. Per personalizzare le impostazioni nel profilo di configurazione della distribuzione, è possibile modificare il file di configurazione della distribuzione in uno strumento adatto per la modifica di file JSON, ad esempio VS Code. Per l'automazione con script, è anche possibile modificare il profilo di distribuzione personalizzato usando azdata bdc config il comando . Ad esempio, il comando seguente modifica un profilo di distribuzione personalizzato per modificare il nome del cluster distribuito da predefinito (mssql-cluster) a test-cluster:

   azdata bdc config replace --config-file custom/bdc.json --json-values "metadata.name=test-cluster"
   

   Tip

   È anche possibile passare il nome del cluster in fase di distribuzione usando il parametro --name per azdata create bdc comando. I parametri nel comando hanno la precedenza sui valori nei file di configurazione.

   Uno strumento utile per trovare percorsi JSON è l'analizzatore JSONPath Online.

   Oltre a passare coppie chiave-valore, è anche possibile fornire valori JSON inline o passare file patch JSON. Per altre informazioni, vedere Configurare le impostazioni di distribuzione per le risorse e i servizi del cluster Big Data.

4. Passare il file di configurazione personalizzato a azdata bdc create. Si noti che è necessario impostare le variabili di ambiente necessarie; in caso contrario, il terminale richiede i valori:

   azdata bdc create --config-profile custom --accept-eula yes
   

Per ulteriori informazioni sulla struttura di un file di configurazione della distribuzione, consultare il riferimento al file di configurazione della distribuzione. Per altri esempi di configurazione, vedere Configurare le impostazioni di distribuzione per i cluster Big Data.

Environment variables

Le variabili di ambiente seguenti vengono usate per le impostazioni di sicurezza non archiviate in un file di configurazione della distribuzione. Si noti che le impostazioni di Docker, ad eccezione delle credenziali, possono essere impostate nel file di configurazione.

Queste variabili di ambiente devono essere impostate prima di chiamare azdata bdc create. Se una variabile non è impostata, viene richiesto di specificarla.

L'esempio seguente illustra come impostare le variabili di ambiente per Linux (bash) e Windows (PowerShell):

export AZDATA_USERNAME=admin
export AZDATA_PASSWORD=<password>
export ACCEPT_EULA=yes

SET AZDATA_USERNAME=admin
SET AZDATA_PASSWORD=<password>

Dopo aver impostato le variabili di ambiente, è necessario eseguire azdata bdc create per attivare la distribuzione. Questo esempio usa il profilo di configurazione del cluster creato in precedenza:

azdata bdc create --config-profile custom --accept-eula yes

Tenere presente le linee guida seguenti:

• Assicurarsi di eseguire il wrapping della password tra virgolette doppie se contiene caratteri speciali. È possibile impostare il AZDATA_PASSWORD su qualsiasi cosa desideriate, ma assicuratevi che la password sia sufficientemente complessa e non usate i caratteri !, & o '. Si noti che le virgolette doppie funzionano solo nei comandi bash.
• L'utente di accesso AZDATA_USERNAME è un amministratore di sistema nell'istanza master di SQL Server che viene creata durante l'installazione. Dopo aver creato il contenitore di SQL Server, la AZDATA_PASSWORD variabile di ambiente specificata è individuabile eseguendo echo $AZDATA_PASSWORD nel contenitore. Per motivi di sicurezza, modificare la password come procedura consigliata.

Unattended install

Per una distribuzione non presidiata, è necessario impostare tutte le variabili di ambiente necessarie, utilizzare un file di configurazione e chiamare il comando azdata bdc create con il parametro --accept-eula yes. Gli esempi nella sezione precedente illustrano la sintassi per un'installazione automatica.

Monitorare la distribuzione

Durante il bootstrap del cluster, la finestra di comando client restituisce lo stato della distribuzione. Durante il processo di distribuzione, verrà visualizzata una serie di messaggi in cui è in attesa del pod del controller:

Waiting for cluster controller to start.

In 15-30 minuti, si dovrebbe ricevere una notifica che indica che il pod del controller è in esecuzione:

Cluster controller endpoint is available at 11.111.111.11:30080.
Cluster control plane is ready.

Al termine della distribuzione, viene visualizzato un messaggio di conferma del successo:

Cluster deployed successfully.

Retrieve endpoints

Al termine dello script di distribuzione, è possibile ottenere gli indirizzi degli endpoint esterni per il cluster Big Data seguendo questa procedura.

1. Dopo la distribuzione, trovare l'indirizzo IP dell'endpoint controller dall'output standard di distribuzione o esaminando l'output EXTERNAL-IP del comando seguente kubectl :

   kubectl get svc controller-svc-external -n <your-big-data-cluster-name>
   

   Tip

   Se non è stato modificato il nome predefinito durante la distribuzione, usare -n mssql-cluster nel comando precedente. mssql-cluster è il nome predefinito per il cluster Big Data.

2. Accedere al cluster Big Data con azdata login. Impostare il --endpoint parametro sull'indirizzo IP esterno dell'endpoint controller.

   azdata login --endpoint https://<ip-address-of-controller-svc-external>:30080 --username <user-name>
   

   Specificare il nome utente e la password configurati per l'amministratore del cluster Big Data (AZDATA_USERNAME e AZDATA_PASSWORD) durante la distribuzione.

   Tip

   Se si è l'amministratore del cluster Kubernetes e si ha accesso al file di configurazione del cluster (file di configurazione kube), è possibile configurare il contesto corrente in modo che punti al cluster Kubernetes di destinazione. In questo caso, è possibile accedere con azdata login -n <namespaceName>, dove namespace è il nome del cluster Big Data. Se non specificato all'interno del comando di accesso, verrà richiesto di immettere le credenziali.

3. Eseguire azdata bdc endpoint list per ottenere un elenco con una descrizione di ogni endpoint e i relativi valori di porta e indirizzo IP corrispondenti.

   azdata bdc endpoint list -o table
   

   L'elenco seguente mostra l'output di esempio di questo comando:

   Description                                             Endpoint                                                   Ip              Name               Port    Protocol
   ------------------------------------------------------  ---------------------------------------------------------  --------------  -----------------  ------  ----------
   Gateway to access HDFS files, Spark                     https://11.111.111.111:30443                               11.111.111.111  gateway            30443   https
   Spark Jobs Management and Monitoring Dashboard          https://11.111.111.111:30443/gateway/default/sparkhistory  11.111.111.111  spark-history      30443   https
   Spark Diagnostics and Monitoring Dashboard              https://11.111.111.111:30443/gateway/default/yarn          11.111.111.111  yarn-ui            30443   https
   Application Proxy                                       https://11.111.111.111:30778                               11.111.111.111  app-proxy          30778   https
   Management Proxy                                        https://11.111.111.111:30777                               11.111.111.111  mgmtproxy          30777   https
   Log Search Dashboard                                    https://11.111.111.111:30777/kibana                        11.111.111.111  logsui             30777   https
   Metrics Dashboard                                       https://11.111.111.111:30777/grafana                       11.111.111.111  metricsui          30777   https
   Cluster Management Service                              https://11.111.111.111:30080                               11.111.111.111  controller         30080   https
   SQL Server Master Instance Front-End                    11.111.111.111,31433                                       11.111.111.111  sql-server-master  31433   tcp
   HDFS File System Proxy                                  https://11.111.111.111:30443/gateway/default/webhdfs/v1    11.111.111.111  webhdfs            30443   https
   Proxy for running Spark statements, jobs, applications  https://11.111.111.111:30443/gateway/default/livy/v1       11.111.111.111  livy               30443   https
   

È anche possibile ottenere tutti gli endpoint di servizio distribuiti per il cluster eseguendo il comando seguente kubectl :

kubectl get svc -n <your-big-data-cluster-name>

Verificare lo stato del cluster

Dopo la distribuzione, è possibile controllare lo stato del cluster con il comando azdata bdc status show .

azdata bdc status show

Di seguito è riportato l'output di esempio di questo comando:

Bdc: ready                                                                                                                                                                                                          Health Status:  healthy
 ===========================================================================================================================================================================================================================================
 Services: ready                                                                                                                                                                                                     Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Servicename    State    Healthstatus    Details

 sql            ready    healthy         -
 hdfs           ready    healthy         -
 spark          ready    healthy         -
 control        ready    healthy         -
 gateway        ready    healthy         -
 app            ready    healthy         -


 Sql Services: ready                                                                                                                                                                                                 Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 master          ready    healthy         StatefulSet master is healthy
 compute-0       ready    healthy         StatefulSet compute-0 is healthy
 data-0          ready    healthy         StatefulSet data-0 is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy


 Hdfs Services: ready                                                                                                                                                                                                Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 nmnode-0        ready    healthy         StatefulSet nmnode-0 is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy
 sparkhead       ready    healthy         StatefulSet sparkhead is healthy


 Spark Services: ready                                                                                                                                                                                               Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 sparkhead       ready    healthy         StatefulSet sparkhead is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy


 Control Services: ready                                                                                                                                                                                             Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 controldb       ready    healthy         -
 control         ready    healthy         -
 metricsdc       ready    healthy         DaemonSet metricsdc is healthy
 metricsui       ready    healthy         ReplicaSet metricsui is healthy
 metricsdb       ready    healthy         StatefulSet metricsdb is healthy
 logsui          ready    healthy         ReplicaSet logsui is healthy
 logsdb          ready    healthy         StatefulSet logsdb is healthy
 mgmtproxy       ready    healthy         ReplicaSet mgmtproxy is healthy


 Gateway Services: ready                                                                                                                                                                                             Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 gateway         ready    healthy         StatefulSet gateway is healthy


 App Services: ready                                                                                                                                                                                                 Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 appproxy        ready    healthy         ReplicaSet appproxy is healthy

È anche possibile ottenere uno stato più dettagliato con i comandi seguenti:

• azdata bdc control status show restituisce lo stato di integrità per tutti i componenti associati al servizio di gestione dei controlli

azdata bdc control status show

Sample output:

Control: ready                                                                                                                                                                                                      Health Status:  healthy
 ===========================================================================================================================================================================================================================================
 Resources: ready                                                                                                                                                                                                    Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 controldb       ready    healthy         -
 control         ready    healthy         -
 metricsdc       ready    healthy         DaemonSet metricsdc is healthy
 metricsui       ready    healthy         ReplicaSet metricsui is healthy
 metricsdb       ready    healthy         StatefulSet metricsdb is healthy
 logsui          ready    healthy         ReplicaSet logsui is healthy
 logsdb          ready    healthy         StatefulSet logsdb is healthy
 mgmtproxy       ready    healthy         ReplicaSet mgmtproxy is healthy

• azdata bdc sql status show restituisce lo stato di integrità per tutte le risorse con un servizio SQL Server

azdata bdc sql status show

Sample output:

Sql: ready                                                                                                                                                                                                          Health Status:  healthy
 ===========================================================================================================================================================================================================================================
 Resources: ready                                                                                                                                                                                                    Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 master          ready    healthy         StatefulSet master is healthy
 compute-0       ready    healthy         StatefulSet compute-0 is healthy
 data-0          ready    healthy         StatefulSet data-0 is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy

Oltre a usare l'interfaccia della riga di comando dei dati di Azure (azdata), è anche possibile usare Azure Data Studio per trovare sia gli endpoint che le informazioni sullo stato. Per altre informazioni sulla visualizzazione dello stato del cluster con l'interfaccia della riga di comando di Azure Data (azdata) e Azure Data Studio, vedere Come visualizzare lo stato di un cluster Big Data.

Connettersi al cluster

Per altre informazioni su come connettersi al cluster Big Data, vedere Connettersi a un cluster Big Data di SQL Server con Azure Data Studio.

Next steps

Per altre informazioni sulla distribuzione del cluster Big Data di SQL Server, vedere le risorse seguenti:

• Configurare le impostazioni di distribuzione per i cluster Big Data
• Eseguire una distribuzione offline di un cluster Big Data di SQL Server
• Workshop: Architettura dei cluster Big Data di Microsoft SQL Server
• Domande frequenti sui cluster Big Data