Replica e sincronizzazione di file mainframe in Azure
Idee per soluzioni
In questo articolo viene descritta un'idea di soluzione. Il cloud architect può usare queste linee guida per visualizzare i componenti principali di un'implementazione tipica di questa architettura. Usare questo articolo come punto di partenza per il design di una soluzione ben progettata che sia in linea con i requisiti specifici del carico di lavoro.
Quando si esegue la migrazione di un'applicazione mainframe o midrange locale ad Azure, il trasferimento dei dati è una considerazione fondamentale. Diversi scenari di modernizzazione richiedono la replica dei file in Azure rapidamente o per mantenere la sincronizzazione tra file locali e file di Azure.
Questo articolo descrive diversi modi per trasferire i file in Azure, convertire e trasformare i dati dei file e archiviare i dati in locale e in Azure.
Architettura
Scaricare un file di Visio di questa architettura.
Flusso di dati
Il flusso di dati seguente corrisponde al diagramma precedente:
Trasferire file in Azure:
Il modo più semplice per trasferire i file in locale in Azure consiste nell'usare FTP (File Transfer Protocol). È possibile ospitare un server FTP in una macchina virtuale (VM) di Azure. Un semplice linguaggio JCL (Job Control Language) FTP invia file ad Azure in formato binario, che è essenziale per mantenere i tipi di dati mainframe e midrange e dati binari. È possibile archiviare file trasmessi in dischi locali, archiviazione file di macchine virtuali di Azure o Archiviazione BLOB di Azure.
È anche possibile caricare file locali nell'archiviazione BLOB usando strumenti come AzCopy.
Il connettore FTP o SFTP (Secure File Transfer Protocol) di Azure Data Factory può essere usato per trasferire i dati dal sistema mainframe all'archiviazione BLOB. Questo metodo richiede una macchina virtuale intermedia in cui è installato un runtime di integrazione self-hosted.
È anche possibile trovare strumenti non Microsoft in Azure Marketplace per trasferire i file dai mainframe ad Azure.
Orchestrare, convertire e trasformare i dati:
Azure non è in grado di leggere i file della tabella codici IBM Extended Binary Coded Decimal Interchange Code (EBCDIC) nei dischi delle macchine virtuali di Azure o nell'archiviazione BLOB. Per rendere compatibili questi file con Azure, Host Integration Server (HIS) li converte da EBCDIC al formato American Standard Code for Information Interchange (ASCII).
I copybook definiscono la struttura dei dati dei file COBOL, PL/I e del linguaggio assembly. HIS converte questi file in ASCII in base ai layout del copybook.
La conversione dei dati dei file mainframe può essere ottenuta usando il connettore App per la logica di Azure per i file host IBM.
Prima di trasferire i dati negli archivi dati di Azure, potrebbe essere necessario trasformare i dati o usarli per l'analisi. Azure Data Factory può gestire queste attività ETL (Extract-Transform-Load) ed extract-load-transform (ELT) e archiviare i dati direttamente in Azure Data Lake Storage.
Per le integrazioni di Big Data, Azure Databricks e Azure Synapse Analytics possono eseguire tutte le attività di trasformazione in modo rapido ed efficace usando il motore Apache Spark per i calcoli in memoria.
Archiviare i dati:
È possibile archiviare i dati trasferiti in una delle diverse modalità di archiviazione di Azure persistenti disponibili, a seconda dei requisiti.
Se l'analisi non è necessaria, Azure Data Factory può archiviare i dati direttamente in un'ampia gamma di opzioni di archiviazione, ad esempio Data Lake Storage e Archiviazione BLOB.
Azure ospita diversi database che rispondono a esigenze diverse:
I database relazionali includono la famiglia SQL Server e i database open source, ad esempio PostgreSQL e MySQL.
I database non relazionali includono Azure Cosmos DB, ovvero un database NoSQL veloce e multimodello distribuito a livello globale.
Esaminare analisi e business intelligence. Microsoft Fabric è una soluzione di analisi all-in-one che l'organizzazione può usare per studiare lo spostamento dei dati, sperimentare con le scienze dei dati ed esaminare analisi in tempo reale e business intelligence. Offre una suite completa di funzionalità, tra cui un data lake, la progettazione dei dati e l'integrazione dei dati.
Componenti
Questa architettura usa i componenti seguenti.
Rete
Questa architettura usa un gateway dati locale come software bridge per connettere i dati mainframe locali ai servizi cloud. È possibile installare il gateway in una macchina virtuale locale dedicata.
Integrazione e trasformazione dei dati
Questa architettura descrive vari strumenti di migrazione nativi di Azure che le organizzazioni possono usare in base ai dati di origine mainframe e al database di destinazione.
provider di dati per File host è un componente di HIS che converte i file della tabella codici EBCDIC in ASCII. Il provider può leggere e scrivere record offline in un file binario locale. Oppure può usare Systems Network Architecture (SNA) o Transmission Control Protocol/Internet Protocol (TCP/IP) per leggere e scrivere record in set di dati mainframe IBM z/OS remoti o file fisici i5/OS. I connettori HIS sono disponibili per BizTalk e App per la logica.
Azure Data Factory è un servizio di integrazione dei dati ibrido che è possibile usare per creare, pianificare e orchestrare flussi di lavoro ETL ed ELT. In questa architettura, Azure Data Factory viene usato per inviare file mainframe all'archiviazione BLOB tramite FTP.
Azure Databricks è una piattaforma di analisi basata su Apache Spark ottimizzata per Azure. È possibile usare Azure Databricks per correlare i dati in ingresso e arricchire i dati con altri dati archiviati in Azure Databricks.
Azure Synapse Analytics è un data warehouse cloud veloce e flessibile con un'architettura di elaborazione parallela elevata che è possibile usare per ridimensionare, calcolare e archiviare i dati in modo elastico e indipendente. Può essere usato per la trasformazione dei dati mainframe prima di caricarlo in un database di Azure.
App per la logica è un servizio basato sul cloud che è possibile usare per automatizzare i flussi di lavoro e integrare applicazioni, dati e servizi in ambienti diversi. Fornisce un connettore IBM Host File nativo che interagisce con i sistemi mainframe per leggere, analizzare e generare contenuto del file host.
Database
Questa architettura descrive il processo di migrazione dei dati dei file mainframe all'archiviazione cloud e ai database gestiti in Azure. Include la conversione dei metadati del file mainframe in modo che corrispondano allo schema di destinazione in Azure.
database SQL di Azure è un servizio di database cloud relazionale scalabile. Il database SQL è sempre up-to-date, con funzionalità automatizzate e basate sull'intelligenza artificiale che ottimizzano le prestazioni e la durabilità. Le opzioni di calcolo serverless e di archiviazione con iperscalabilità ridimensionano automaticamente le risorse su richiesta. Con Vantaggio Azure Hybrid, è possibile usare le licenze di SQL Server locali esistenti nel cloud senza costi aggiuntivi.
Istanza gestita di SQL di Azure combina la compatibilità più ampia del motore di database di SQL Server con tutti i vantaggi di una piattaforma distribuita come servizio completamente gestita e sempreverdi. Con Istanza gestita di SQL, è possibile modernizzare le app esistenti su larga scala con strumenti, competenze e risorse familiari.
SQL Server in Azure Macchine virtuali lift-and-shift dei carichi di lavoro di SQL Server nel cloud per combinare la flessibilità e la connettività ibrida di Azure con prestazioni, sicurezza e analisi di SQL Server. È possibile accedere agli aggiornamenti e alle versioni più recenti di SQL Server con compatibilità totale del codice.
Database di Azure per PostgreSQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database PostgreSQL open source.
Database di Azure per MySQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database MySQL open source.
Azure Cosmos DB è un servizio di database NoSQL completamente gestito e multimodello per la creazione e la modernizzazione di applicazioni scalabili e ad alte prestazioni. Azure Cosmos DB ridimensiona la velocità effettiva e l'archiviazione in modo elastico e indipendente tra aree geografiche e garantisce tempi di risposta in millisecondi a cifra singola e disponibilità del 99° percentile ovunque nel mondo.
Altri archivi dati
Archiviazione BLOB è una soluzione di archiviazione di oggetti basata sul cloud che archivia grandi quantità di dati non strutturati, ad esempio dati di testo o binari. È possibile accedere a questi dati da qualsiasi posizione tramite HTTP o HTTPS. È possibile usare l'archiviazione BLOB per esporre i dati pubblicamente o per archiviare i dati dell'applicazione privatamente.
Data Lake Storage è un repository di archiviazione che contiene una grande quantità di dati in formato nativo e non elaborato. Data Lake Storage offre scalabilità per carichi di lavoro di analisi dei Big Data con terabyte e petabyte di dati. I dati provengono in genere da più origini eterogenee e possono essere strutturati, semistrutturati o non strutturati.
Dettagli dello scenario
La conversione dei file mainframe dal formato con codifica EBCDIC al formato ASCII è necessaria per la migrazione dei dati dai sistemi mainframe all'archiviazione e ai database cloud di Azure. Le applicazioni mainframe generano e gestiscono grandi quantità di dati ogni giorno. Questi dati devono essere convertiti in modo accurato per l'uso in altre piattaforme.
Quando l'organizzazione esegue la transizione dei dati del file system mainframe, è necessario trasformare i metadati dei file in schemi nativi del cloud. Sviluppare una strategia di migrazione che includa tecniche di conversione dei file efficaci.
Potenziali casi d'uso
La replica e la sincronizzazione dei file locali sono essenziali per diversi casi d'uso:
Dipendenze downstream o upstream, ad esempio quando le applicazioni eseguite in un mainframe e le applicazioni eseguite in Azure devono scambiare dati tramite file
Test paralleli di applicazioni rehosting o re-engineered in Azure con applicazioni locali
Applicazioni locali strettamente associate nei sistemi che non possono essere immediatamente risolte o modernizzate
Collaboratori
Microsoft gestisce questo articolo. I collaboratori seguenti hanno scritto questo articolo.
Autori principali:
- Nithish Aruldoss | Architetto di ingegneria
- Ashish Kndelwal | Principal Engineering Architecture Manager
Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.
Passaggi successivi
- Per altre informazioni, contattare il team di ingegneria dei dati di Microsoft SQL.
- Guide alla migrazione del database di Azure