Поделиться через

Целевые показатели масштабируемости и производительности Azure Storage Mover

Производительность службы миграции хранилища является ключевым аспектом для любой миграции. В этой статье мы делимся результатами теста производительности, хотя, поскольку Azure Storage Mover — это новая служба, ваш опыт может отличаться.

Цели масштабирования

Azure Storage Mover протестирован с 500 миллионами элементов пространства имен (файлов и папок), перенесенных из поддерживаемого источника в поддерживаемый целевой ресурс в Azure.

Как мы тестируем

служба хранилища Azure Mover — это гибридная облачная служба. Гибридные службы имеют компонент облачной службы и компонент инфраструктуры, который администратор службы управляет в корпоративной среде. Для Storage Mover этот гибридный компонент служит агентом миграции. Агенты — это виртуальные машины, запущенные на узле рядом с исходным хранилищем.

Схема, иллюстрирующая путь миграции, показывая две стрелки. Первая стрелка представляет данные, перемещающиеся в учетную запись хранения из источника или агента, а вторая стрелка представляет только сведения об управлении или управлении ресурсом или службой перемещения хранилища.

Только агент является соответствующей частью сервиса для тестирования производительности. Чтобы опустить проблемы конфиденциальности и производительности, данные перемещаются непосредственно из агента Перемещения хранилища в целевое хранилище в Azure. В облачную службу отправляются только сообщения управления и телеметрии.

Базовые показатели производительности

Эти результаты теста создаются в идеальных условиях. Они предназначены в качестве основы для компонентов, на которые служба перемещения хранилища и агент могут напрямую влиять. Различия в исходных устройствах, дисках и сетевых подключениях не рассматриваются в этом тесте. Фактические показатели производительности могут различаться.

Тесты по миграции с подключения SMB на общий файловый ресурс Azure были выполнены следующим образом:

В следующей таблице описываются характеристики тестовых сред, которые привели к получению результатов теста производительности при подключении SMB к файловому ресурсу Azure.

Тест №. Нет. файлов Общий вес файлов Размер файла Структура папок
1 12 миллионов 12 ГБ 1 КБ каждый 12 папок, каждая из которых содержит 100 вложенных папок, содержащих 10 000 файлов
2 30 20 ГБ 1 папка
3 1 млн 100 ГБ 100 КБ каждый 1000 папок, каждый из которых имеет 1000 файлов
4 1 4 ТБ
5 117 миллионов 117 ГБ 1 КБ каждый 117 папок, каждая из которых содержит 100 вложенных папок, содержащих 10 000 файлов
6 1 1 TБ
7 3,3 миллиона 45 ГБ 13 КБ каждый 200 000 папок, каждая из которых содержит 16\17 файлов
8 50 миллионов 1 TБ 20 КБ каждый 2 940 000 папок, каждая из которых содержит 17 файлов
9 100 млн 2 ТБ 20 КБ каждый 580 000 папок, каждая из которых содержит 17 файлов

Различные конфигурации ресурсов агента проверяются на конечных точках SMB:

  1. Minspec: 4 ЦП / 8 ГБ ОЗУ 4 виртуальных ЦП на 2,7 ГГц каждый и 8 ГиБ памяти (ОЗУ) — это минимальная спецификация агента перемещения службы хранилища Azure.

    Тест №. Время выполнения Время сканирования
    6 16 мин, 42 с 1,2 с
    7 55 мин, 4 с 1 мин, 17 с
    8
    9

  2. Bootspec: 8 ЦП / 16 ГиБ ОЗУ 8 виртуальных Ядер ЦП на 2,7 ГГц каждый и 16 ГиБ памяти (ОЗУ) — это минимальная спецификация агента Перемещения службы хранилища Azure.

    Результаты: стандартная учетная запись хранения

    Тест №. Время выполнения Время сканирования
    1 15 часов, 59 мин 2 часа, 36 мин, 34 с
    2 1 мин, 54 с 3,34 с
    3 1 ч, 19 мин, 27 с 57,62 с
    4 1 час, 5 мин, 57 с 2,89 с

    Результаты: стандартная учетная запись хранения с включенными большими файлами

    Тест №. Время выполнения Время сканирования
    1 3 часа, 51 мин, 31 с 41 мин и 45 с
    5 25 часов, 47 мин 23 часа, 35 мин
    6 11 мин, 11 с 0,7 с
    7 55 мин, 10 с 1 мин, 3 с
    8
    9

    Результаты: учетная запись хранения класса Premium

    Тест №. Время выполнения Время сканирования
    1 2 часа, 35 мин, 14 с 24 мин, 46 с
    5 23 часа, 34 мин 21 ч, 34 мин

Ознакомьтесь с рекомендуемыми ресурсами агента в рамках вашего плана миграции, см. статью о развертывании агента.

Почему производительность миграции варьируется

По сути, качество сети и возможность обработки файлов, папок и их метаданных влияют на скорость миграции.

В двух основных сферах сети и вычислений влияние оказывают несколько аспектов.

  • Сценарий миграции
    Копирование в пустой целевой объект быстрее по сравнению с целевым объектом с содержимым. Такое поведение обусловлено подсистемой миграции, оценивающей не только источник, но и целевой объект для принятия решений о копировании.
  • Число элементов пространства имен
    Перенос 1 ГиБ небольших файлов занимает больше времени, чем перенос 1 ГиБ больших файлов.
  • Фигура пространства имен
    Широкая иерархия папок позволяет выполнять более параллельную обработку, чем узкая или глубокая структура каталогов. Соотношение файлов и папок также играет роль.
  • Отток пространства имен
    Сколько файлов, папок и метаданных изменяется между двумя выполнениями копирования из одного и того же источника в одну и ту же цель.
  • Сеть
    • пропускная способность и задержка между исходным и агентом миграции
    • пропускная способность и задержка между агентом миграции и целевым объектом в Azure
  • Ресурсы агента миграции
    Объем памяти (ОЗУ), количество вычислительных ядер и даже объем доступных локальных дисков на агенте миграции может иметь глубокое влияние на скорость миграции. Дополнительные вычислительные ресурсы помогают оптимизировать использование доступной пропускной способности, особенно при обработке больших объемов небольших файлов в миграции.

Например, для традиционной миграции требуется стратегия свести к минимуму время простоя рабочей нагрузки, зависящую от хранилища, которое необходимо перенести. Mover службы хранилища Azure поддерживает эту стратегию, называемую конвергентной, n-pass миграцией.

В этой стратегии вы копируете из источника в целевой объект несколько раз. Во время этих процессов копирования источник данных остается доступным для чтения и записи рабочей нагрузке. Незадолго до окончательной итерации копирования источник будет отключен. Ожидается, что окончательная копия создастся быстрее, чем создание первой копии, и займёт примерно столько времени, как создание той, что была перед ней. После окончательной копии рабочая нагрузка переключается на новое целевое хранилище в Azure и снова становится доступной для использования.

Во время первого копирования из источника в целевой объект, целевой объект, скорее всего, остаётся пустым, и всё содержимое источника должно быть перемещено в него. В результате первая копия, скорее всего, ограничена доступными сетевыми ресурсами.

К концу миграции после многократного копирования источника в целевой объект изменяются только несколько файлов, папок и метаданных после последнего копирования. В этой последней итерации копирования требуется сравнение каждого файла в исходном и целевом каталогах, чтобы определить, нужно ли его обновить, на это необходимо больше вычислительных ресурсов и меньше сетевых ресурсов. Копирование на позднем этапе миграции часто более ограничено вычислительными ресурсами. Правильное распределение ресурсов агента Mover хранилища становится все более важным.

Дальнейшие шаги

Следующие статьи помогут в успешном развертывании Службы хранилища Azure Mover.

  • Last updated on