Condividi tramite


Obiettivi di scalabilità e prestazioni di Azure Storage Mover

Le prestazioni di un servizio di migrazione dell'archiviazione sono un aspetto fondamentale per qualsiasi migrazione. In questo articolo vengono condivisi i risultati dei test delle prestazioni, anche se poiché Mover di Archiviazione di Azure è un nuovo servizio, l'esperienza potrebbe variare.

Obiettivi di scalabilità

Azure Storage Mover è stato testato con 500 milioni di elementi dello spazio dei nomi (file e cartelle), migrati da un'origine supportata a una destinazione supportata in Azure.

Come eseguire il test

Azure Storage Mover è un servizio cloud ibrido. I servizi ibridi includono un componente di servizio cloud e un componente di infrastruttura che l'amministratore del servizio esegue nel proprio ambiente aziendale. Per Storage Mover, tale componente ibrido è un agente di migrazione. Gli agenti sono macchine virtuali, eseguiti in un host vicino all'archiviazione di origine.

Diagramma che illustra il percorso di una migrazione visualizzando due frecce. La prima freccia rappresenta i dati che passano a un account di archiviazione dall'origine o dall'agente e una seconda freccia rappresenta solo le informazioni di gestione o controllo per la risorsa o il servizio di spostamento dello spazio di archiviazione.

Solo l'agente è una parte rilevante del servizio per i test delle prestazioni. Per omettere problemi di privacy e prestazioni, i dati passano direttamente dall'agente di Storage Mover all'archiviazione di destinazione in Azure. Solo i messaggi di controllo e telemetria vengono inviati al servizio cloud.

Basi di riferimento delle prestazioni

Questi risultati dei test vengono creati in condizioni ideali. Sono concepiti come base di riferimento dei componenti che il servizio Storage Mover e l'agente possono influenzare direttamente. Le differenze nei dispositivi di origine, nei dischi e nelle connessioni di rete non vengono considerate in questo test. Le prestazioni reali variano.

La migrazione dal montaggio SMB ai test di condivisione file di Azure è stata eseguita nel modo seguente:

La tabella seguente descrive le caratteristiche degli ambienti di test che hanno prodotto i risultati del test delle prestazioni da un montaggio SMB a una condivisione file di Azure.

Test No. No di file Peso totale dei file Dimensione del file Struttura delle cartelle
1 12 milioni 12 GB 1 KB ciascuno 12 cartelle, ognuna con 100 sottocartelle contenenti 10.000 file
2 30 20 GB 1 cartella
3 1 milione 100 GB 100 KB ciascuno 1.000 cartelle, ognuna con 1.000 file
4 1 4 TB
5 117 milioni 117 GB 1 KB ciascuno 117 cartelle, ognuna con 100 sottocartelle contenenti 10.000 file
6 1 1 TB
7 3,3 milioni 45 GB 13 KB ciascuno 200.000 cartelle, ognuna contiene 16\17 file
8 50 milioni 1 TB 20 KB ciascuno 2.940.000 cartelle, ognuna contiene 17 file
9 100 milioni 2 TB 20 KB ciascuno 5.880.000 cartelle, ognuna contiene 17 file

Le diverse configurazioni delle risorse dell'agente vengono testate sugli endpoint SMB:

  1. Minspec: 4 CPU / 8 GB di RAM 4 core CPU virtuali a 2,7 GHz ciascuno e 8 GiB di memoria (RAM) costituiscono la specifica minima per un agente Azure Storage Mover.

    Test No. Tempi di esecuzione Tempo di scansione
    6 16 min, 42 sec 1,2 sec
    7 55 minuti, 4 secondi 1 min, 17 sec
    8
    9
  2. Bootspec: 8 CPU /16 GiB RAM 8 core CPU virtuali a 2,7 GHz ciascuno e 16 GiB di memoria (RAM) è la specifica minima per un agente Azure Storage Mover.

    Risultati: account di archiviazione Standard

    Test No. Tempi di esecuzione Tempo di scansione
    1 15 ore, 59 min 2 ore, 36 min, 34 sec
    2 1 min, 54 sec 3,34 sec
    3 1 ora, 19 min, 27 sec 57,62 sec
    4 1 ora, 5 min, 57 sec 2,89 sec

    Risultati: account di archiviazione Standard con file di grandi dimensioni abilitati

    Test No. Tempi di esecuzione Tempo di scansione
    1 3 ore, 51 min, 31 sec 41 min e 45 sec
    5 25 ore, 47 min 23 ore, 35 min
    6 11 min, 11 s 0,7 sec
    7 55 min, 10 s 1 min, 3 sec
    8
    9

    Risultati: account di archiviazione Premium

    Test No. Tempi di esecuzione Tempo di scansione
    1 2 ore, 35 min, 14 sec 24 min, 46 sec
    5 23 ore, 34 minuti 21 ore, 34 min

Esamina le risorse consigliate per l'agente relative al tuo ambito di migrazione nell'articolo sulla distribuzione dell'agente.

Perché le prestazioni della migrazione variano

Fondamentalmente, la qualità della rete e la possibilità di elaborare file, cartelle e relativi metadati influiscono sulla velocità di migrazione.

Tra le due aree principali della rete e del calcolo, diversi aspetti hanno un impatto:

  • Scenario di migrazione
    La copia in una destinazione vuota è più veloce rispetto a una destinazione con contenuto. Questo comportamento è dovuto al motore di migrazione che valuta non solo l'origine, ma anche la destinazione per prendere decisioni di copia.
  • Numero di elementi dello spazio dei nomi
    La migrazione di 1 GiB di file di piccole dimensioni richiede più tempo rispetto alla migrazione di 1 GiB di file di dimensioni maggiori.
  • Forma del namespace
    Una gerarchia di cartelle estesa si presta a un'elaborazione più parallela rispetto a una struttura di directory stretta o profonda. Anche il rapporto tra file e cartelle gioca un ruolo.
  • Varianza dello spazio dei nomi
    Numero di file, cartelle e metadati che cambiano tra due esecuzioni di copia dalla stessa origine alla stessa destinazione.
  • Rete
    • larghezza di banda e latenza tra l'origine e l'agente di migrazione
    • larghezza di banda e latenza tra l'agente di migrazione e la destinazione in Azure
  • Risorse dell'agente di migrazione
    La quantità di memoria (RAM), il numero di core di calcolo e anche la quantità di capacità del disco locale disponibile nell'agente di migrazione può avere un impatto profondo sulla velocità di migrazione. Più risorse di calcolo consentono di ottimizzare l'utilizzo della larghezza di banda disponibile, soprattutto quando è necessario elaborare grandi quantità di file più piccoli in una migrazione.

Ad esempio, una migrazione tradizionale richiede una strategia per ridurre al minimo il tempo di inattività del carico di lavoro che dipende dall'archiviazione di cui eseguire la migrazione. Azure Storage Mover supporta questa strategia, denominata migrazione convergente a più passaggi.

In questa strategia si copia dall'origine alla destinazione più volte. Durante queste iterazioni di copia, l'origine rimane disponibile per la lettura e la scrittura nel carico di lavoro. Poco prima dell'iterazione di copia finale, si porta offline l'origine. Si prevede che la copia finale finisca più rapidamente rispetto alla prima copia che hai creato e richiederà circa lo stesso tempo di quello che l'ha immediatamente preceduto. Dopo la copia finale, il carico di lavoro è soggetto a un failover per usare la nuova risorsa di archiviazione di destinazione in Azure ed è nuovamente disponibile per l'uso.

Durante la prima copia dall'origine alla destinazione, la destinazione è probabilmente vuota e tutto il contenuto di origine deve essere spostato nella destinazione. Di conseguenza, la prima copia è probabilmente più vincolata dalle risorse di rete disponibili.

Verso la fine di una migrazione, dopo aver copiato l'origine nella destinazione più volte, solo alcuni file, cartelle e metadati vengono modificati dopo l'ultima copia. In questa ultima iterazione di copia, confrontando ogni file nell'origine e nella destinazione per verificare se deve essere aggiornato, richiede più risorse di calcolo e un minor numero di risorse di rete. Le esecuzioni di copia in questa fase tardiva di una migrazione sono spesso più vincolate dal calcolo. L'allocazione corretta delle risorse dell'agente di Storage Mover diventa sempre più importante.

Passaggi successivi

Gli articoli seguenti possono essere utili per una corretta distribuzione di Azure Storage Mover.