Replicare i dati mainframe e midrange in Azure usando RDRS
Rocket® Data Replicate and Sync (RDRS), in precedenza tcVISION, è una soluzione di replica dei dati sviluppata da Rocket Software. RDRS offre una soluzione di integrazione mainframe IBM per la replica dei dati mainframe, la sincronizzazione dei dati, la migrazione dei dati e change data capture (CDC) per diversi servizi della piattaforma dati di Azure.
Rocket® Data Replicate and Sync è un marchio della sua azienda. Nessuna verifica dell'autenticità è implicita nell'uso di questo marchio.
Architettura
Scaricare un file di Visio di questa architettura.
Flusso di dati
Il flusso di dati seguente corrisponde al diagramma precedente:
La soluzione di replica dei dati RDRS supporta CDC da molti database basati su mainframe, tra cui IBM Db2, IBM Information Management System (IMS) DB, Adabas for Software AG, CA Datacom e Computer Associates Integrated Gestione dati System (CA IDMS). RDRS fornisce agenti CDC basati su log per acquisire i dati delle modifiche a livello di record. Questo CDC basato su log ha un impatto minimo sui database di origine di produzione.
RDRS supporta CDC dai file del metodo di accesso all'archiviazione virtuale.
Un'attività viene avviata nel mainframe. Le attività avviate o i controller di sicurezza vengono creati nel mainframe come parte dell'installazione del software RDRS. Due controller di sicurezza cruciali sono:
Agente di acquisizione, che acquisisce i dati modificati dall'origine.
L'agente apply, che usa le API specifiche del sistema di gestione dei database (DBMS) per scrivere in modo efficiente i dati modificati nella destinazione.
Nota
Per Db2 z/OS, RDRS fornisce anche una soluzione CDC senza agente tramite un tipo definito dall'utente Db2 che non necessita di controller di sicurezza.
OPM (Open Platform Manager) funge da server di replica. Questo server contiene utilità per il mapping automatico dei dati per generare metadati per origini e destinazioni. Contiene anche il set di regole per estrarre i dati dall'origine. Il server trasforma ed elabora i dati per i sistemi di destinazione e scrive i dati nelle destinazioni. È possibile installare questo componente nei sistemi operativi Linux, Unix e Windows (LUW).
L'agente di applicazione rdrs usa API specifiche di DBMS. Queste API implementano in modo efficiente modifiche ai dati in tempo reale in combinazione con la tecnologia CDC. Le modifiche vengono applicate dall'origine ai servizi dati di Azure di destinazione, ovvero il database e i file.
RDRS supporta lo streaming diretto dei dati modificati in Hub eventi di Azure o Kafka. Quindi App per la logica di Azure, una funzione o una soluzione personalizzata nella macchina virtuale elabora questi eventi.
Le destinazioni della piattaforma dati di Azure supportate da RDRS includono Database SQL di Azure, Database di Azure per PostgreSQL, Database di Azure per MySQL, Azure Cosmos DB e Azure Data Lake Storage.
I dati inseriti nella piattaforma dati di Azure vengono usati dai servizi di Azure o da altre piattaforme autorizzate a visualizzarli. Queste piattaforme includono Power BI, Azure Synapse Analytics o applicazioni personalizzate.
RdRS può sincronizzare in modo inverso le modifiche apportate da una piattaforma di database di Azure, ad esempio database SQL, Database di Azure per MySQL, Database di Azure per PostgreSQL o Data Lake Storage. RdRS può quindi scrivere di nuovo tali modifiche nel livello dati mainframe.
Il backup e lo scaricamento dei file del database mainframe vengono copiati in una macchina virtuale di Azure usando RDRS per l'elaborazione del caricamento bulk.
Il caricamento bulk rdrs esegue un caricamento iniziale del database di destinazione usando i dati di origine mainframe. I dati di origine possono essere letti direttamente dall'archivio dati mainframe o da un backup mainframe o un file di scaricamento. Il processo di caricamento bulk converte automaticamente i tipi di dati mainframe, ad esempio i campi interscambio decimali codificati binari estesi. Per ottenere prestazioni ottimali, usare il backup o scaricare i dati anziché leggere direttamente il database mainframe. Evitare letture dirette perché lo spostamento di dati di scaricamento o backup nella macchina virtuale di Azure RDRS necessaria e l'uso di caricatori di database nativi riduce al minimo l'input/output di rete e riduce i tempi di caricamento.
Modificare la replica dei dati da Db2 z/OS a un database SQL nativo di Microsoft Fabric tramite RDRS
L'architettura seguente offre una panoramica del modo in cui i dati vengono replicati da Db2 z/OS a un database SQL nativo di Fabric quasi in tempo reale.
Scaricare un file di Visio di questa architettura.
Caricamento iniziale dei dati
Db2 installato in un mainframe IBM nel data center del cliente funge da origine dei dati per la replica nel cloud di Azure.
Per creare una copia completa, l'agente di acquisizione RDRS recupera i dati Db2 eseguendo query SELECT nel database Db2 di origine. Se le dimensioni dei dati sono di grandi dimensioni, è possibile inviare un backup di copia immagine dei dati dal mainframe alla macchina virtuale Capture LUW in formato binario.
OPM funge da server di replica. Questo server contiene utilità per il mapping automatico dei dati per generare metadati per origini e destinazioni. Contiene il set di regole per estrarre i dati dall'origine. Il server trasforma ed elabora i dati per i sistemi di destinazione e scrive i dati nelle destinazioni. È possibile installare questo componente nei sistemi operativi LUW.
L'agente di acquisizione e applicazione rdrs riceve i dati da Db2, come output delle query SELECT o di una copia dell'immagine. Dopo aver applicato l'agente RDRS, le trasformazioni configurate vengono scritti nel database SQL nativo dell'infrastruttura di destinazione.
L'agente di applicazione rdrs usa Microsoft ODBC Driver con l'autenticazione MICROSOFT Entra ID per SQL di Azure per scrivere in modo efficiente i dati nel database SQL nativo di Fabric di destinazione.
I dati vengono inseriti nel database SQL nativo di Fabric.
Dopo che i dati vengono inseriti nel database SQL nativo di Fabric, i servizi di Azure o altre entità autorizzate lo usano, ad esempio Analisi infrastruttura, Power BI o applicazioni personalizzate.
CDC
A. Db2 installato in un mainframe IBM nel data center del cliente funge da origine dei dati per la replica nel cloud di Azure. RDRS offre la possibilità di recuperare i dati delle modifiche basati su log da Db2.
B. RDRS definisce il processo definito dall'utente db2 per leggere i log db2. Il tipo definito dall'utente viene eseguito nell'ambiente IBM Workload Manager ed è gestito da Db2 DBMS. Il tipo definito dall'utente legge i dati di log e li archivia in memoria per la trasmissione.
C. OPM funge da server di replica, dotato di utilità per il mapping automatico dei dati per generare metadati per origini e destinazioni. Include set di regole per estrarre i dati dall'origine, trasformare ed elaborare i dati per i sistemi di destinazione e scriverli nelle destinazioni. È possibile installare questo componente nei sistemi operativi LUW. L'agente di acquisizione e applicazione rdrs riceve i dati dal processo definito dall'utente. Dopo che l'agente apply configura le trasformazioni, scrive i dati nel database SQL dell'infrastruttura di destinazione.
D. L'interfaccia del dashboard RDRS consente l'amministrazione, l'operazione, il controllo e il monitoraggio dei processi di scambio di dati. Le utilità della riga di comando RDRS consentono di automatizzare i processi di scambio dei dati e gestire le operazioni automatiche del processo di sincronizzazione dei dati.
E. L'agente di applicazione rdRS usa Microsoft ODBC Driver con l'autenticazione MICROSOFT Entra ID per Azure SQL per eseguire query sul linguaggio di manipolazione dei dati nel database SQL nativo di Fabric di destinazione.
F. Dopo che i dati vengono inseriti nel database SQL nativo dell'infrastruttura, nei servizi di Azure o in altre entità autorizzate lo usano, tra cui Analisi infrastruttura, Power BI o applicazioni personalizzate.
G. RdRS offre anche funzionalità per scrivere dati acquisiti come JSON in Hub eventi o Kafka.
H. Hub eventi funge da piattaforma di archiviazione per i messaggi di dati CDC.
I. App per la logica, Funzioni di Azure o un'infrastruttura come soluzione logica personalizzata basata su servizi in una macchina virtuale di Azure può usare messaggi provenienti da Hub eventi per eseguire l'elaborazione personalizzata.
Componenti
Questa soluzione usa i componenti seguenti.
Componenti di rete e identità
Questa architettura si riferisce ai seguenti servizi di rete che è possibile usare singolarmente o in combinazione per migliorare la sicurezza.
Azure ExpressRoute è un servizio che consente di estendere le reti locali in Microsoft Cloud tramite una connessione privata gestita da un provider di connettività. È possibile usare ExpressRoute per stabilire connessioni altamente sicure e affidabili ai servizi cloud, ad esempio Microsoft Azure e Microsoft 365.
Un gateway VPN di Azure è un tipo specifico di gateway di rete virtuale che invia traffico crittografato tra una rete virtuale di Azure e una posizione locale tramite Internet pubblico.
Microsoft Entra ID è un servizio di gestione delle identità e degli accessi che è possibile sincronizzare con una directory locale.
Componenti dell'applicazione
App per la logica crea ed esegue attività e processi ricorrenti automatizzati in base a una pianificazione. È possibile chiamare i servizi all'interno e all'esterno di Azure, ad esempio endpoint HTTP o HTTPS, inviare messaggi a servizi di Azure come Archiviazione di Azure e bus di servizio di Azure o caricare file in una condivisione file.
Funzioni di Azure è un servizio cloud che consente di eseguire piccole parti di codice, note come funzioni, senza la necessità di gestire o configurare l'infrastruttura dell'applicazione sottostante. È possibile usare Funzioni di Azure per automatizzare le attività, elaborare i dati, integrare i sistemi e creare applicazioni scalabili. L'infrastruttura cloud fornisce i server up-todata necessari per mantenere l'applicazione in esecuzione su larga scala.
Le macchine virtuali di Azure sono risorse di calcolo su richiesta e scalabili. Una macchina virtuale di Azure offre la flessibilità della virtualizzazione ed elimina le richieste di manutenzione dell'hardware fisico. Le macchine virtuali di Azure operano su sistemi Windows e Linux.
Componenti di archiviazione e database
Questa architettura illustra la migrazione dei dati a database scalabili e più sicuri per l'archiviazione cloud e i database gestiti flessibili e intelligenti in Azure.
Archiviazione offre soluzioni di archiviazione non gestite, ad esempio Archiviazione BLOB di Azure, Archiviazione tabelle di Azure, Archiviazione code di Azure e File di Azure. File di Azure è particolarmente utile per le soluzioni mainframe ricreate e offre un componente aggiuntivo efficace con l'archiviazione SQL gestita.
Azure SQL è una piattaforma distribuita come servizio completamente gestita per SQL Server in Azure. È possibile eseguire la migrazione dei dati relazionali e usarli in modo efficiente con altri componenti di Azure, tra cui Istanza gestita di SQL di Azure, macchine virtuali SQL di Azure, Database di Azure per PostgreSQL e Database di Azure per MySQL.
Azure Cosmos DB è un'offerta no-SQL che è possibile usare per eseguire la migrazione di dati nontabulari all'esterno del mainframe.
Il database SQL in Fabric è la piattaforma principale che supporta i carichi di lavoro di elaborazione delle transazioni online e offre semplicità che semplifica la configurazione e la gestione. Ha un sistema che replica automaticamente i dati in OneLake quasi in tempo reale, che lo rende ideale per le attività di analisi. È integrato con framework di sviluppo e strumenti di analisi. Questa integrazione consente di garantire la compatibilità e la flessibilità per varie applicazioni. Il database SQL in Fabric consente di eseguire query nello stesso modo del database SQL e include un editor basato sul Web accessibile tramite il portale di Fabric.
Componenti di monitoraggio
Monitoraggio di Azure offre una soluzione completa per la raccolta, l'analisi e l'esecuzione di operazioni sui dati di telemetria dal cloud e dagli ambienti locali.
Application Insights analizza e presenta i dati di telemetria dell'applicazione.
I log di Monitoraggio di Azure sono una funzionalità di Monitoraggio che raccoglie e organizza i dati di log e prestazioni dalle risorse monitorate. È possibile consolidare i dati da più origini, ad esempio i log della piattaforma dai servizi di Azure, i dati di log e prestazioni degli agenti di macchine virtuali e i dati sull'utilizzo e sulle prestazioni delle applicazioni, in un'unica area di lavoro da analizzare insieme usando un linguaggio di query sofisticato che può analizzare rapidamente milioni di record.
Log Analytics è uno strumento nel portale di Azure. È possibile usare le query di log per ottenere informazioni dettagliate dai dati raccolti nei log di Monitoraggio di Azure. Log Analytics usa un linguaggio di query avanzato in modo da poter unire dati da più tabelle, aggregare set di dati di grandi dimensioni ed eseguire operazioni complesse con codice minimo.
Dettagli dello scenario
I mainframe sono server che elaborano un numero elevato di transazioni. Le applicazioni mainframe producono e utilizzano grandi quantità di dati ogni giorno. I cloud pubblici offrono elasticità, ottimizzazione dei costi, facilità d'uso e facile integrazione. Molte applicazioni x86 e mainframe passano al cloud, quindi le organizzazioni devono avere una strategia di integrazione e migrazione dei dati da mainframe a cloud ben progettata.
Questo scenario integra un livello di dati mainframe IBM Z con la piattaforma dati cloud di Azure usando RDRS fornito da Rocket Software .
Potenziali casi d'uso
Questa soluzione è ideale per le migrazioni di dati su larga scala alla piattaforma dati di Azure. Prendere in considerazione questo scenario per i casi d'uso seguenti:
Migrazione completa di un livello dati mainframe: In questo caso d'uso, un cliente vuole spostare tutti i dati Db2, IMS, IDMS, file e altri dati da un mainframe alla piattaforma dati di Azure.
Coesistenza di applicazioni basate su mainframe e Azure: In questo caso d'uso, un cliente richiede il supporto per una sincronizzazione bidirezionale tra un mainframe e la piattaforma dati di Azure.
Archivistico: In questo caso d'uso, un cliente vuole archiviare i dati per scopi di controllo e conformità, ma non vuole accedere frequentemente a questi dati. L'archiviazione offre una soluzione a basso costo per archiviare i dati di archiviazione.
Considerazioni
Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di principi guida che possono essere usati per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Well-Architected Framework.
Affidabilità
L'affidabilità garantisce che l'applicazione possa soddisfare gli impegni assunti dai clienti. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per l'affidabilità.
Configurare OPM rdr nelle macchine virtuali di Azure distribuite in zone di disponibilità separate per offrire disponibilità elevata. Se si verifica un errore, viene attivato un OPM di RDRS secondario e comunica il proprio indirizzo IP con la gestione mainframe RDRS. Il mainframe comunica quindi con il nuovo OPM rdrs che continua a elaborare al successivo punto di riavvio logico usando una combinazione di unità logica di lavoro e di riavvio dei file.
Progettare i servizi di database di Azure per supportare la ridondanza della zona in modo che possano eseguire il failover in un nodo secondario in caso di interruzione o di una finestra di manutenzione pianificata.
Usare i log di Monitoraggio di Azure e Application Insights per monitorare l'integrità di una risorsa di Azure. È possibile impostare avvisi per la gestione proattiva.
Sicurezza
La sicurezza offre garanzie contro attacchi intenzionali e l'uso improprio dei dati e dei sistemi preziosi. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per la sicurezza.
Controllare l'autenticazione e l'accesso per RDRS usando Microsoft Entra ID.
Crittografare i trasferimenti di dati tra prodotti RDRS, ad esempio i trasferimenti da mainframe ad Azure, usando Transport Layer Security (TLS).
Usare ExpressRoute o una VPN da sito a sito per una connessione più privata ed efficiente ad Azure da un ambiente locale.
Autenticare le risorse di Azure usando Microsoft Entra ID e gestire le autorizzazioni usando il controllo degli accessi in base al ruolo.
Usare i servizi di database in Azure per supportare varie opzioni di sicurezza, ad esempio Transparent Data Encryption per i dati inattivi, TLS per i dati in transito e la crittografia dei dati durante l'elaborazione per garantire che i dati siano sempre crittografati. Per altre informazioni, vedere la documentazione sulla sicurezza di Azure e le baseline di sicurezza per Azure.
Ottimizzazione costi
L'ottimizzazione dei costi è incentrata sui modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per l'ottimizzazione dei costi.
Per stimare il costo di implementazione di questa soluzione, usare il calcolatore dei prezzi di Azure.
Efficienza delle prestazioni
L'efficienza delle prestazioni si riferisce alla capacità del carico di lavoro di ridimensionarsi per soddisfare in modo efficiente le esigenze degli utenti. Per altre informazioni, vedere Elenco di controllo per l'efficienza delle prestazioni.
Scalabilità
Configurare il ridimensionamento RDRS per l'elaborazione CDC eseguendo più flussi di replica parallela. Analizzare prima di tutto i file inclusi nelle transazioni logiche. Questi file devono essere elaborati insieme in sequenza. Il processo CDC di RDRS garantisce l'integrità di ogni transazione logica. Ad esempio, i set di tabelle che non partecipano alle transazioni comuni possono essere suddivisi in attività parallele creando più script di elaborazione.
RdRS può eseguire simultaneamente l'elaborazione simultanea del caricamento bulk in una singola macchina virtuale di Azure o in più macchine virtuali di Azure, che offre scalabilità orizzontale. Eseguire operazioni di caricamento bulk rapido per tabelle di grandi dimensioni suddividendo il processo in più attività, usando intervalli arbitrari o filtri di riga. Il filtro delle righe può usare una chiave, una chiave di partizione, una data e altri filtri.
Il livello di calcolo serverless database SQL offre un'opzione di ridimensionamento automatico basata sul carico di lavoro. È possibile aumentare e ridurre le prestazioni di altri database di Azure usando l'automazione per soddisfare le esigenze del carico di lavoro. Per altre informazioni, vedere Procedure consigliate per la scalabilità automatica in Azure.
Collaboratori
Microsoft gestisce questo articolo. I collaboratori seguenti hanno scritto questo articolo.
Autori principali:
- Sandip Kndelwal | Senior Engineering Architect
Altri contributori:
- Liz Casey | Sviluppatore di contenuti senior
Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.
Passaggi successivi
- Guide alla migrazione del database di Azure
- Guida alla migrazione: SQL Server al database SQL di Azure
- Training: Progettare una piattaforma dati in Azure
- Training: Progettare una strategia di migrazione di SQL Server