Condividi tramite

Modernizzare i dati mainframe e midrange

Azure Cosmos DB
Azure Data Lake
Database SQL di Microsoft Azure
Istanza gestita di SQL di Azure
Archiviazione di Azure

Apache®, Spark e il logo flame sono marchi registrati o marchi di Apache Software Foundation negli Stati Uniti e/o in altri paesi. L'uso di questi marchi non implica alcuna approvazione da parte di Apache Software Foundation.

Questo articolo descrive un piano di modernizzazione end-to-end per le origini dati mainframe e midrange. La modernizzazione consente di migliorare la scalabilità e le prestazioni per i carichi di lavoro cruciali.

Architettura

Diagramma dell'architettura che illustra come modernizzare i sistemi mainframe e midrange eseguendo la migrazione dei dati in Azure.

Scaricare un file di Visio di questa architettura.

Flusso di dati

Il flusso di dati seguente corrisponde al diagramma precedente:

  1. I sistemi mainframe e midrange archiviano i dati nelle origini dati seguenti.

    • File system:

      • Metodo di accesso all'archiviazione virtuale (VSAM)
      • File piatti
      • File system a nastro lineare

    • Database relazionali:

      • Db2 per z/OS
      • Db2 per IBM i
      • Db2 per Linux UNIX e Windows

    • Database non relazionali:

      • Information Management System (IMS)
      • Adabas
      • Integrated Database Management System (IDMS)

  2. Il processo di conversione degli oggetti estrae le definizioni degli oggetti dagli oggetti di origine. Le definizioni vengono quindi convertite in oggetti corrispondenti nell'archivio dati di destinazione.

    • SQL Server Migration Assistant per Db2 esegue la migrazione di schemi e dati dai database IBM Db2 ai database di Azure.

    • Il provider di dati gestito per i file host converte gli oggetti in base a:

      • Analisi di layout di record coBOL (Common Business Oriented Language) e Report Program Generator o copybook.
      • Mapping dei copybook agli oggetti C# usati dalle applicazioni .NET.

    • Lo strumento Db2toAzurePostgreSQL esegue la migrazione di oggetti di database da Db2 a Database di Azure per PostgreSQL.

    • Gli strumenti partner eseguono la conversione automatica degli oggetti in database non relazionali, file system e altri archivi dati.

  3. I dati vengono inseriti e trasformati. I sistemi mainframe e midrange archiviano i dati del file system in formato con codifica EBCDIC in formati di file come:

    • File VSAM indicizzati.
    • File GDG non indicizzati.
    • File flat.

    I copybook COBOL, Programming Language One e assembly language definiscono la struttura dei dati di questi file.

    a) Il protocollo FTP (File Transfer Protocol) trasferisce i set di dati del file system mainframe e midrange e i corrispondenti copybook in Azure. Questi set di dati hanno layout singoli e campi decompressi in formato binario.

    b. La conversione dei dati viene eseguita sviluppando programmi personalizzati usando il componente file host di Host Integration Server o il connettore predefinito per i file host IBM in App per la logica di Azure.

    Il convertitore di notebook Spark viene sviluppato usando framework Spark open source. È compatibile con ambienti Spark come Microsoft Fabric, Azure Synapse Analytics e Azure Databricks.

    c. Viene eseguita la migrazione dei dati del database relazionale.

    I sistemi IBM mainframe e midrange archiviano i dati in database relazionali, ad esempio:

    I servizi seguenti esegrano i dati del database:

    • Azure Data Factory usa un connettore Db2 per estrarre e integrare i dati dai database.
    • SQL Server Integration Services gestisce varie attività di estrazione, trasformazione e caricamento dei dati.
    • Fabric Data Factory usa il connettore IBM Db2 per eseguire la migrazione dei dati Db2.

    d. Viene eseguita la migrazione dei dati di database non relazionali.

    I sistemi IBM mainframe e midrange archiviano i dati in database non relazionali, ad esempio:

    I prodotti partner integrano i dati di questi database.

  4. Strumenti di Azure come Azure Data Factory e AzCopy caricano i dati nei database di Azure e nell'archiviazione dati di Azure. È anche possibile usare soluzioni partner e soluzioni di caricamento personalizzate per caricare i dati.

  5. Azure offre vari servizi di database, tra cui servizi di database relazionali completamente gestiti, ad esempio database SQL di Azure e opzioni NoSQL come Azure Cosmos DB. Questi servizi sono progettati per la scalabilità, la flessibilità e la distribuzione globale.

    Azure offre anche una gamma di soluzioni di archiviazione, tra cui Archiviazione BLOB di Azure per i dati non strutturati e File di Azure per condivisioni file completamente gestite.

  6. I servizi di Azure usano il livello dati modernizzato per il calcolo, l'analisi, l'archiviazione e la rete.

  7. Le applicazioni client usano anche il livello dati modernizzato.

Componenti

Questa architettura usa i componenti seguenti.

Archiviazione dei dati

Questa architettura descrive come eseguire la migrazione dei dati in database gestiti e scalabili e scalabili per la gestione flessibile e intelligente dei dati in Azure.

  • Il database SQL fa parte della famiglia SQL di Azure. È progettato per il cloud e offre tutti i vantaggi di una piattaforma distribuita come servizio (PaaS) completamente gestita e sempreverdi. Database SQL offre anche funzionalità automatizzate basate sull'intelligenza artificiale che ottimizzano le prestazioni e la durabilità. Le opzioni di calcolo serverless e di archiviazione Hyperscale ridimensionano automaticamente le risorse su richiesta.

  • Database di Azure per PostgreSQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database PostgreSQL open source.

  • Azure Cosmos DB è un database NoSQL a più modelli distribuito a livello globale.

  • Database di Azure per MySQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database MySQL open source.

  • Istanza gestita di SQL è un servizio di database cloud intelligente e scalabile che offre tutti i vantaggi di un PaaS completamente gestito e sempreverdi. Istanza gestita di SQL ha quasi completato la compatibilità con il motore di database di SQL Server Enterprise Edition più recente. Fornisce anche un'implementazione di rete virtuale nativa che risolve i problemi di sicurezza più comuni.

  • Azure Data Lake Storage è un repository di archiviazione che contiene grandi quantità di dati nel formato nativo e non elaborato. Gli archivi Data Lake sono ottimizzati per il ridimensionamento a terabyte e petabyte di dati. I dati provengono in genere da più origini eterogenee. Può essere strutturato, semistrutturato o non strutturato.

  • Il database SQL in Microsoft Fabric è un database transazionale descrittivo per gli sviluppatori basato sul database SQL. Usarlo per creare facilmente il database operativo in Fabric. Un database SQL in Fabric usa lo stesso motore di database SQL del database SQL.

  • Microsoft Fabric Lakehouse è una piattaforma di architettura dei dati per l'archiviazione, la gestione e l'analisi di dati strutturati e non strutturati in un'unica posizione.

Calcolo

  • Azure Data Factory integra i dati in ambienti di rete diversi usando un runtime di integrazione (IR), che è un'infrastruttura di calcolo. Azure Data Factory copia i dati tra archivi dati cloud e archivi dati in reti locali usando IR self-hosted.

  • Il gateway dati locale è un'applicazione client Windows installata in locale che funge da ponte tra le origini dati locali e i servizi in Microsoft Cloud.

  • Macchine virtuali di Azure offre risorse di calcolo scalabili e su richiesta. Una macchina virtuale di Azure offre la flessibilità della virtualizzazione, ma elimina le richieste di manutenzione dell'hardware fisico. Le macchine virtuali di Azure offrono una scelta di sistemi operativi, tra cui Windows e Linux.

Integrazione dei dati

Questa architettura descrive vari strumenti di migrazione nativi di Azure usati a seconda dei dati di origine mainframe e del database di destinazione.

  • di Azure Data Factory è un servizio di integrazione dati ibrido. In questa soluzione Azure Data Factory esegue la migrazione dei dati dalle origini Db2 alle destinazioni di database di Azure usando connettori nativi.

  • AzCopy è un'utilità della riga di comando che sposta BLOB o file all'esterno degli account di archiviazione.

  • SQL Server Integration Services è una piattaforma per la creazione di soluzioni di integrazione e trasformazione dei dati a livello aziendale. È possibile usarlo per risolvere problemi aziendali complessi:

    • Copia o download di file.
    • Caricamento di data warehouse.
    • Pulizia e data mining.
    • Gestione di oggetti e dati di SQL Server.

  • Le tecnologie e gli strumenti di Host Integration Server possono integrare sistemi host, programmi, messaggi e dati IBM esistenti con le applicazioni di Azure. Il componente client del file host offre flessibilità per i dati convertiti da EBCDIC a ASCII. Ad esempio, è possibile generare dati in formato JSON o XML dai dati convertiti.

  • Azure Synapse Analytics combina l'integrazione dei dati, il data warehousing aziendale e l'analisi dei Big Data. Questa architettura usa la soluzione di conversione di Azure Synapse Analytics. Si basa su Apache Spark ed è un buon candidato per la conversione di carichi di lavoro del set di dati mainframe di grandi dimensioni. Supporta un'ampia gamma di destinazioni e strutture di dati mainframe e richiede un impegno minimo di codifica.

  • Microsoft Fabric è una piattaforma di analisi end-to-end pronta per l'azienda. Unifica lo spostamento dei dati, l'elaborazione dei dati, l'inserimento, la trasformazione, il routing degli eventi in tempo reale e la compilazione di report. Supporta queste funzionalità usando i servizi integrati seguenti:

    • Data Engineer dell'infrastruttura
    • Fabric Data Factory
    • Analisi scientifica dei dati di Fabric
    • Infrastruttura Real-Time Intelligence
    • Data warehouse di Fabric
    • Database di struttura

Altri strumenti

  • SQL Server Migration Assistant per Db2 automatizza la migrazione da Db2 ai servizi di database Microsoft. Quando questo strumento viene eseguito in una macchina virtuale, converte gli oggetti di database Db2 in oggetti di database di SQL Server e crea tali oggetti in SQL Server.

  • Il provider di dati per i file host è un componente di Host Integration Server che usa connessioni offline, SNA o TCP/IP.

    • Con le connessioni offline, il provider di dati legge e scrive i record in un file binario locale.
    • Con le connessioni SNA e TCP/IP, il provider di dati legge e scrive i record archiviati in set di dati z/OS remoti (mainframe serie IBM Z) o nei file fisici i5/OS remoti (IBM AS/400 e iSeries). Solo i5/sistemi operativi usano TCP/IP.

  • I servizi di Azure offrono ambienti, strumenti e processi per lo sviluppo e la scalabilità di nuove applicazioni nel cloud pubblico.

Dettagli dello scenario

Soluzioni moderne di archiviazione dei dati come la piattaforma dati di Azure offrono una migliore scalabilità e prestazioni rispetto ai sistemi mainframe e midrange. Modernizzando i sistemi, è possibile sfruttare questi vantaggi. Tuttavia, l'aggiornamento della tecnologia, dell'infrastruttura e delle procedure è complesso. Il processo prevede un'analisi completa delle attività aziendali e di progettazione. La gestione dei dati è una considerazione quando si modernizzano i sistemi. È anche necessario esaminare la visualizzazione e l'integrazione dei dati.

Le modernizzazioni riuscite usano una strategia data-first. Quando si usa questo approccio, ci si concentra sui dati anziché sul nuovo sistema. La gestione dei dati non è più solo un elemento nell'elenco di controllo per la modernizzazione. I dati sono invece il centro. Le soluzioni di dati coordinate orientate alla qualità sostituiscono quelle frammentate e mal regolate.

Questa soluzione usa i componenti della piattaforma dati di Azure in un approccio basato su dati. In particolare, la soluzione prevede:

  • Conversione di oggetti. Convertire le definizioni degli oggetti dall'archivio dati di origine a oggetti corrispondenti nell'archivio dati di destinazione.

  • Inserimento dati. Connettersi all'archivio dati di origine ed estrarre i dati.

  • Trasformazione dei dati. Trasformare i dati estratti in strutture appropriate dell'archivio dati di destinazione.

  • Archiviazione dei dati. Caricare i dati dall'archivio dati di origine all'archivio dati di destinazione, sia inizialmente che continuamente.

Casi d'uso potenziali

Le organizzazioni che usano sistemi mainframe e midrange possono trarre vantaggio da questa soluzione, soprattutto quando vogliono:

  • Modernizzare i carichi di lavoro cruciali.

  • Acquisire business intelligence per migliorare le operazioni e ottenere un vantaggio competitivo.

  • Rimuovere i costi elevati e la rigidità associati agli archivi dati mainframe e midrange.

Considerazioni

Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di set di principi guida che è possibile usare per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Well-Architected Framework.

Sicurezza

La sicurezza offre garanzie contro attacchi intenzionali e l'uso improprio dei dati e dei sistemi preziosi. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per la sicurezza.

Ottimizzazione dei costi

L'ottimizzazione dei costi è incentrata sui modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per l'ottimizzazione dei costi.

  • SQL Server Migration Assistant è uno strumento gratuito e supportato che semplifica la migrazione del database da Db2 a SQL Server, database SQL e Istanza gestita di SQL. SQL Server Migration Assistant automatizza tutti gli aspetti della migrazione, tra cui l'analisi della valutazione della migrazione, la conversione dello schema e delle istruzioni SQL e la migrazione dei dati.

  • La soluzione basata su Spark di Azure Synapse Analytics è basata su librerie open source. Elimina il carico finanziario degli strumenti di conversione delle licenze.

  • Per stimare il costo di implementazione di questa soluzione, usare il calcolatore dei prezzi di Azure.

Efficienza delle prestazioni

L'efficienza delle prestazioni si riferisce alla capacità del carico di lavoro di ridimensionarsi per soddisfare in modo efficiente le esigenze degli utenti. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per l'efficienza delle prestazioni.

  • I pilastri chiave dell'efficienza delle prestazioni sono la gestione delle prestazioni, la pianificazione della capacità, la scalabilità e la scelta di un modello di prestazioni appropriato.

  • È possibile aumentare il numero di istanze del runtime di integrazione self-hosted associando l'istanza logica a più computer locali in modalità attiva-attiva.

  • Usare il database SQL per ridimensionare dinamicamente i database. Il livello serverless può ridimensionare automaticamente le risorse di calcolo. I pool elastici consentono ai database di condividere le risorse in un pool e possono essere ridimensionati solo manualmente.

Quando si usa il client provider di dati per i file host per convertire i dati, attivare il pool di connessioni per ridurre il tempo di avvio della connessione. Quando si usa Azure Data Factory per estrarre i dati, ottimizzare le prestazioni dell'attività di copia.

Contributori

Microsoft gestisce questo articolo. I collaboratori seguenti hanno scritto questo articolo.

Autore principale:

Altri collaboratori:

Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.

Passaggi successivi

Vedere le Guide alla migrazione di database di Azure. Per altre informazioni, contattare Progettazione dati di Azure - Mainframe e modernizzazione midrange .

Vedere gli articoli seguenti: