Condividi tramite

Modernizzare i dati mainframe e midrange

Azure Cosmos DB
Azure Data Lake
Database SQL di Microsoft Azure
Istanza gestita di SQL di Azure
Archiviazione di Azure

Apache®, Spark, and the flame logo are either registered trademarks or trademarks of the Apache Software Foundation in the United States and/or other countries. L'uso di questi marchi non implica alcuna approvazione da parte di Apache Software Foundation.

Questo articolo descrive un piano di modernizzazione end-to-end per le origini dati mainframe e midrange. La modernizzazione consente di migliorare la scalabilità e le prestazioni per i carichi di lavoro cruciali.

Architecture

Diagramma dell'architettura che illustra come modernizzare i sistemi mainframe e midrange eseguendo la migrazione dei dati in Azure.

Scaricare un file di Visio di questa architettura.

Dataflow

Il flusso di dati seguente corrisponde al diagramma precedente:

  1. I sistemi mainframe e midrange archiviano i dati nelle origini dati seguenti.

    • File systems:

      • Metodo di accesso all'archiviazione virtuale (VSAM)
      • Flat files
      • File system a nastro lineare

    • Relational databases:

      • Db2 per z/OS
      • Db2 per IBM i
      • Db2 per Linux UNIX e Windows

    • Nonrelational databases:

      • Information Management System (IMS)
      • Adabas
      • Integrated Database Management System (IDMS)

  2. Il processo di conversione degli oggetti estrae le definizioni degli oggetti dagli oggetti di origine. Le definizioni vengono quindi convertite in oggetti corrispondenti nell'archivio dati di destinazione.

    • SQL Server Migration Assistant per Db2 esegue la migrazione di schemi e dati dai database IBM Db2 ai database di Azure.

    • Il provider di dati gestito per i file host converte gli oggetti in base a:

      • Parsing common business-oriented language (COBOL) and Report Program Generator record layouts, or copybooks.
      • Mapping dei copybook agli oggetti C# usati dalle applicazioni .NET.

    • The Db2toAzurePostgreSQL tool migrates database objects from Db2 to Azure Database for PostgreSQL.

    • Gli strumenti partner eseguono la conversione automatica degli oggetti in database non relazionali, file system e altri archivi dati.

  3. I dati vengono inseriti e trasformati. I sistemi mainframe e midrange archiviano i dati del file system in formato con codifica EBCDIC in formati di file come:

    • Indexed VSAM files.
    • Nonindexed GDG files.
    • Flat files.

    I copybook COBOL, Programming Language One e assembly language definiscono la struttura dei dati di questi file.

    a. Il protocollo FTP (File Transfer Protocol) trasferisce i set di dati del file system mainframe e midrange e i corrispondenti copybook in Azure. Questi set di dati hanno layout singoli e campi decompressi in formato binario.

    b. La conversione dei dati viene eseguita sviluppando programmi personalizzati usando il componente file host di Host Integration Server o il connettore predefinito per i file host IBM in App per la logica di Azure.

    Il convertitore di notebook Spark viene sviluppato usando framework Spark open source. È compatibile con ambienti Spark come Microsoft Fabric, Azure Synapse Analytics e Azure Databricks.

    c. Viene eseguita la migrazione dei dati del database relazionale.

    I sistemi IBM mainframe e midrange archiviano i dati in database relazionali, ad esempio:

    I servizi seguenti esegrano i dati del database:

    • Azure Data Factory usa un connettore Db2 per estrarre e integrare i dati dai database.
    • SQL Server Integration Services gestisce varie attività di estrazione, trasformazione e caricamento dei dati.
    • Fabric Data Factory usa il connettore IBM Db2 per eseguire la migrazione dei dati Db2.

    d. Viene eseguita la migrazione dei dati di database non relazionali.

    I sistemi IBM mainframe e midrange archiviano i dati in database non relazionali, ad esempio:

    I prodotti partner integrano i dati di questi database.

  4. Azure tools like Azure Data Factory and AzCopy load data into Azure databases and Azure data storage. È anche possibile usare soluzioni partner e soluzioni di caricamento personalizzate per caricare i dati.

  5. Azure offre vari servizi di database, tra cui servizi di database relazionali completamente gestiti, ad esempio database SQL di Azure e opzioni NoSQL come Azure Cosmos DB. Questi servizi sono progettati per la scalabilità, la flessibilità e la distribuzione globale.

    Azure offre anche una gamma di soluzioni di archiviazione, tra cui Archiviazione BLOB di Azure per i dati non strutturati e File di Azure per condivisioni file completamente gestite.

  6. I servizi di Azure usano il livello dati modernizzato per il calcolo, l'analisi, l'archiviazione e la rete.

  7. Le applicazioni client usano anche il livello dati modernizzato.

Components

Questa architettura usa i componenti seguenti.

Data storage

Questa architettura descrive come eseguire la migrazione dei dati in database gestiti e scalabili e scalabili per la gestione flessibile e intelligente dei dati in Azure.

  • SQL Database is part of the Azure SQL family. È progettato per il cloud e offre tutti i vantaggi di una piattaforma distribuita come servizio (PaaS) completamente gestita e sempreverdi. Database SQL offre anche funzionalità automatizzate basate sull'intelligenza artificiale che ottimizzano le prestazioni e la durabilità. Le opzioni di calcolo serverless e di archiviazione Hyperscale ridimensionano automaticamente le risorse su richiesta.

  • Database di Azure per PostgreSQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database PostgreSQL open source.

  • Azure Cosmos DB è un database NoSQL a più modelli distribuito a livello globale.

  • Database di Azure per MySQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database MySQL open source.

  • Istanza gestita di SQL è un servizio di database cloud intelligente e scalabile che offre tutti i vantaggi di un PaaS completamente gestito e sempreverdi. Istanza gestita di SQL ha quasi completato la compatibilità con il motore di database di SQL Server Enterprise Edition più recente. Fornisce anche un'implementazione di rete virtuale nativa che risolve i problemi di sicurezza più comuni.

  • Azure Data Lake Storage è un repository di archiviazione che contiene grandi quantità di dati nel formato nativo e non elaborato. Gli archivi Data Lake sono ottimizzati per il ridimensionamento a terabyte e petabyte di dati. I dati provengono in genere da più origini eterogenee. Può essere strutturato, semistrutturato o non strutturato.

  • Il database SQL in Microsoft Fabric è un database transazionale descrittivo per gli sviluppatori basato sul database SQL. Usarlo per creare facilmente il database operativo in Fabric. Un database SQL in Fabric usa lo stesso motore di database SQL del database SQL.

  • Microsoft Fabric Lakehouse è una piattaforma di architettura dei dati per l'archiviazione, la gestione e l'analisi di dati strutturati e non strutturati in un'unica posizione.

Compute

  • Azure Data Factory integra i dati in ambienti di rete diversi usando un runtime di integrazione (IR), che è un'infrastruttura di calcolo. Azure Data Factory copies data between cloud data stores and data stores in on-premises networks by using self-hosted IRs.

  • Il gateway dati locale è un'applicazione client Windows installata in locale che funge da ponte tra le origini dati locali e i servizi in Microsoft Cloud.

  • Macchine virtuali di Azure offre risorse di calcolo scalabili e su richiesta. Una macchina virtuale di Azure offre la flessibilità della virtualizzazione, ma elimina le richieste di manutenzione dell'hardware fisico. Le macchine virtuali di Azure offrono una scelta di sistemi operativi, tra cui Windows e Linux.

Data integrators

Questa architettura descrive vari strumenti di migrazione nativi di Azure usati a seconda dei dati di origine mainframe e del database di destinazione.

  • di Azure Data Factory è un servizio di integrazione dati ibrido. In questa soluzione Azure Data Factory esegue la migrazione dei dati dalle origini Db2 alle destinazioni di database di Azure usando connettori nativi.

  • AzCopy is a command-line utility that moves blobs or files into and out of storage accounts.

  • SQL Server Integration Services è una piattaforma per la creazione di soluzioni di integrazione e trasformazione dei dati a livello aziendale. È possibile usarlo per risolvere problemi aziendali complessi:

    • Copia o download di file.
    • Caricamento di data warehouse.
    • Pulizia e data mining.
    • Gestione di oggetti e dati di SQL Server.

  • Le tecnologie e gli strumenti di Host Integration Server possono integrare sistemi host, programmi, messaggi e dati IBM esistenti con le applicazioni di Azure. Il componente client del file host offre flessibilità per i dati convertiti da EBCDIC a ASCII. Ad esempio, è possibile generare dati in formato JSON o XML dai dati convertiti.

  • Azure Synapse Analytics combina l'integrazione dei dati, il data warehousing aziendale e l'analisi dei Big Data. Questa architettura usa la soluzione di conversione di Azure Synapse Analytics. Si basa su Apache Spark ed è un buon candidato per la conversione di carichi di lavoro del set di dati mainframe di grandi dimensioni. Supporta un'ampia gamma di destinazioni e strutture di dati mainframe e richiede un impegno minimo di codifica.

  • Microsoft Fabric is an enterprise-ready, end-to-end analytics platform. Unifica lo spostamento dei dati, l'elaborazione dei dati, l'inserimento, la trasformazione, il routing degli eventi in tempo reale e la compilazione di report. Supporta queste funzionalità usando i servizi integrati seguenti:

    • Data Engineer dell'infrastruttura
    • Fabric Data Factory
    • Analisi scientifica dei dati di Fabric
    • Infrastruttura Real-Time Intelligence
    • Data warehouse di Fabric
    • Fabric Databases

Other tools

  • SQL Server Migration Assistant per Db2 automatizza la migrazione da Db2 ai servizi di database Microsoft. Quando questo strumento viene eseguito in una macchina virtuale, converte gli oggetti di database Db2 in oggetti di database di SQL Server e crea tali oggetti in SQL Server.

  • Il provider di dati per i file host è un componente di Host Integration Server che usa connessioni offline, SNA o TCP/IP.

    • Con le connessioni offline, il provider di dati legge e scrive i record in un file binario locale.
    • Con le connessioni SNA e TCP/IP, il provider di dati legge e scrive i record archiviati in set di dati z/OS remoti (mainframe serie IBM Z) o nei file fisici i5/OS remoti (IBM AS/400 e iSeries). Solo i5/sistemi operativi usano TCP/IP.

  • Azure services provide environments, tools, and processes for developing and scaling new applications in the public cloud.

Scenario details

Soluzioni moderne di archiviazione dei dati come la piattaforma dati di Azure offrono una migliore scalabilità e prestazioni rispetto ai sistemi mainframe e midrange. Modernizzando i sistemi, è possibile sfruttare questi vantaggi. Tuttavia, l'aggiornamento della tecnologia, dell'infrastruttura e delle procedure è complesso. Il processo prevede un'analisi completa delle attività aziendali e di progettazione. La gestione dei dati è una considerazione quando si modernizzano i sistemi. È anche necessario esaminare la visualizzazione e l'integrazione dei dati.

Successful modernizations use a data-first strategy. Quando si usa questo approccio, ci si concentra sui dati anziché sul nuovo sistema. La gestione dei dati non è più solo un elemento nell'elenco di controllo per la modernizzazione. I dati sono invece il centro. Le soluzioni di dati coordinate orientate alla qualità sostituiscono quelle frammentate e mal regolate.

Questa soluzione usa i componenti della piattaforma dati di Azure in un approccio basato su dati. In particolare, la soluzione prevede:

  • Object conversion. Convertire le definizioni degli oggetti dall'archivio dati di origine a oggetti corrispondenti nell'archivio dati di destinazione.

  • Data ingestion. Connettersi all'archivio dati di origine ed estrarre i dati.

  • Data transformation. Trasformare i dati estratti in strutture appropriate dell'archivio dati di destinazione.

  • Data storage. Caricare i dati dall'archivio dati di origine all'archivio dati di destinazione, sia inizialmente che continuamente.

Casi d'uso potenziali

Le organizzazioni che usano sistemi mainframe e midrange possono trarre vantaggio da questa soluzione, soprattutto quando vogliono:

  • Modernizzare i carichi di lavoro cruciali.

  • Acquisire business intelligence per migliorare le operazioni e ottenere un vantaggio competitivo.

  • Rimuovere i costi elevati e la rigidità associati agli archivi dati mainframe e midrange.

Considerations

Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di set di principi guida che è possibile usare per migliorare la qualità di un carico di lavoro. For more information, see Well-Architected Framework.

Security

La sicurezza offre garanzie contro attacchi intenzionali e l'uso improprio dei dati e dei sistemi preziosi. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per la sicurezza.

Cost Optimization

L'ottimizzazione dei costi è incentrata sui modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per l'ottimizzazione dei costi.

  • SQL Server Migration Assistant è uno strumento gratuito e supportato che semplifica la migrazione del database da Db2 a SQL Server, database SQL e Istanza gestita di SQL. SQL Server Migration Assistant automatizza tutti gli aspetti della migrazione, tra cui l'analisi della valutazione della migrazione, la conversione dello schema e delle istruzioni SQL e la migrazione dei dati.

  • La soluzione basata su Spark di Azure Synapse Analytics è basata su librerie open source. Elimina il carico finanziario degli strumenti di conversione delle licenze.

  • Per stimare il costo di implementazione di questa soluzione, usare il calcolatore dei prezzi di Azure.

Performance Efficiency

L'efficienza delle prestazioni si riferisce alla capacità del carico di lavoro di ridimensionarsi per soddisfare in modo efficiente le esigenze degli utenti. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per l'efficienza delle prestazioni.

  • The key pillars of Performance Efficiency are performance management, capacity planning, scalability, and choosing an appropriate performance pattern.

  • È possibile aumentare il numero di istanze del runtime di integrazione self-hosted associando l'istanza logica a più computer locali in modalità attiva-attiva.

  • Usare il database SQL per ridimensionare dinamicamente i database. Il livello serverless può ridimensionare automaticamente le risorse di calcolo. I pool elastici consentono ai database di condividere le risorse in un pool e possono essere ridimensionati solo manualmente.

Quando si usa il client provider di dati per i file host per convertire i dati, attivare il pool di connessioni per ridurre il tempo di avvio della connessione. Quando si usa Azure Data Factory per estrarre i dati, ottimizzare le prestazioni dell'attività di copia.

Contributors

Microsoft gestisce questo articolo. I collaboratori seguenti hanno scritto questo articolo.

Principal author:

Other contributors:

Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.

Next steps

Vedere le Guide alla migrazione di database di Azure. Per altre informazioni, contattare Progettazione dati di Azure - Mainframe e modernizzazione midrange .

Vedere gli articoli seguenti: