Руководство по миграции для вычислительных рабочих нагрузок GPU в Azure

Так как более мощные графические процессоры становятся доступными в Marketplace и в центрах обработки данных Microsoft Azure, мы рекомендуем повторно оценить производительность рабочих нагрузок и рассмотреть возможность миграции на более новые GPU.

По той же причине, а также для поддержания высококачественного и надежного предложения услуг, Azure периодически удаляет оборудование, которое обеспечивает более старые размеры виртуальных машин. Первая группа продуктов GPU, которые будут выведены из эксплуатации в Azure, включает виртуальные машины исходной серии NC, версии NC v2 и серии ND, разработанные на базе GPU-ускорителей для центров обработки данных NVIDIA Tesla K80, P100 и P40 соответственно. Эти продукты будут прекращены 31 августа 2023 года, а самые старые виртуальные машины в этой серии запущены в 2016 году.

С тех пор GPU добились невероятных успехов вместе с развитием всей отрасли глубокого обучения и высокопроизводительных вычислительных систем, обычно увеличивая производительность в два раза между поколениями. С момента запуска GPU K80, P40 и P100, Azure представила несколько новых поколений и категорий продуктов виртуальных машин, предназначенных для вычислений и ИИ с ускорением на базе GPU, используя NVIDIA T4, V100 и A100, и отличающихся дополнительными функциями, такими как структуры взаимодействия на базе InfiniBand. Это все варианты, которые мы рекомендуем клиентам изучить в качестве путей миграции.

В большинстве случаев значительное увеличение производительности, предлагаемое новыми поколениями GPU, снижает общую стоимость владения (TCO), сокращая продолжительность задания для поддающихся изменению заданий, а также уменьшая общее количество виртуальных машин с поддержкой GPU, необходимых для обеспечения фиксированного спроса на вычислительные ресурсы, несмотря на то, что затраты на час GPU могут варьироваться. В дополнение к этим преимуществам клиенты могут улучшить время на решение с помощью более высокопроизводительных виртуальных машин, а также повысить работоспособность и поддержку своего решения путем внедрения более новых программ, среды выполнения CUDA и версий драйверов.

Миграция и оптимизация

Azure признает, что у клиентов есть множество требований, которые могут диктовать выбор определенного продукта виртуальной машины GPU, включая рекомендации по архитектуре GPU, взаимосвязи, TCO, время до решения задачи и региональную доступность в зависимости от соответствия нормативным требованиям или требований к задержке, и некоторые из этих требований могут изменяться с течением времени.

В то же время ускорение GPU является новой и быстро развивающейся областью.

Таким образом, нет истинных одноуровневых рекомендаций для этой области продукта, и миграция является идеальным временем для повторной оценки потенциально драматических изменений в рабочей нагрузке, например переход от кластеризованной модели развертывания к одной большой 8-GPU виртуальной машины или наоборот, используя сокращенные типы данных точности, применяя такие функции, как GPU с несколькими экземплярами, и многое другое.

Эти аспекты, когда рассматриваются в контексте уже значительных увеличений производительности GPU с каждым новым поколением, где такая функция, как добавление TensorCores, может повысить производительность на порядок, крайне зависят от характера рабочей нагрузки.

Объединение миграции с повторной архитектурой приложений может обеспечить огромную ценность и улучшение затрат и времени на решение.

Однако эти улучшения выходят за рамки данного документа, который сосредоточен на прямых классах эквивалентности для общих рабочих нагрузок, которые могут выполняться клиентами сегодня, чтобы определить наиболее аналогичные варианты виртуальных машин по цене и производительности графических процессоров (GPU) для существующих семейств виртуальных машин, находящихся в процессе вывода из использования.

Таким образом, в этом документе предполагается, что пользователь не может иметь никакого анализа или контроля над свойствами, связанными с рабочей нагрузкой, такими как количество обязательных экземпляров виртуальных машин, GPU, межсоединений и многое другое.

Рекомендуемые пути обновления

NC-Series виртуальные машины с графическими процессорами NVIDIA K80

NC (v1)-Series виртуальные машины Azure являются самыми старыми виртуальными машинами с ускорением на GPU, на основе 1 до 4 графических ускорителей NVIDIA Tesla K80 в сочетании с процессорами Intel Xeon E5-2690 v3 (Haswell). Бывший флагманский тип виртуальной машины для требовательных приложений ИИ, машинного обучения и высокопроизводительных вычислений, они оставались популярным выбором даже в конце жизненного цикла продукта (особенно благодаря рекламным ценам серии NC) для пользователей, которые предпочитали очень низкую абсолютную стоимость на GPU-час, чем GPUs с более высокой производительностью на каждый потраченный доллар.

Сегодня, учитывая относительно низкую производительность вычислений устаревшей платформы GPU NVIDIA K80, в сравнении с сериями виртуальных машин с новыми GPU, популярным вариантом использования для серии NC является анализ и аналитические задачи, для которых ускоренная виртуальная машина должна быть доступна в стабильном состоянии для обслуживания запросов от приложений по мере их поступления. В таких случаях объем или размер пакета запросов может оказаться недостаточным, чтобы воспользоваться более эффективными графическими процессорами. Виртуальные машины NC также популярны среди разработчиков и студентов, которые изучают, разрабатывают или экспериментируют с ускорением GPU и которым требуется недорогая облачная среда для развертывания CUDA, не нуждающаяся в производительности на уровне производства для итеративных улучшений.

Как правило, клиентам NC-Series следует рассмотреть возможность перехода непосредственно с размеров NC на размеры NC T4 версии 3, новой платформы Azure с ускорением GPU для легких рабочих нагрузок на базе GPU Tesla T4.

Виртуальные машины серии NC версии 2 с графическими процессорами NVIDIA Tesla P100

Виртуальные машины серии NC версии 2 являются флагманской платформой, изначально предназначенной для рабочих нагрузок искусственного интеллекта и глубокого обучения. Они предложили отличную производительность для обучения на основе глубокого обучения, с производительностью на один GPU примерно в 2 раза выше, чем у исходного NC-Series, и работают на GPU NVIDIA Tesla P100 и процессорах Intel Xeon E5-2690 v4 (Broadwell). Как и в серии NC и ND, NC версии 2 предлагает конфигурацию со вторичной низкой задержкой, сетью с высокой пропускной способностью через RDMA и подключение InfiniBand, чтобы можно было выполнять крупномасштабные задания обучения, охватывающие множество gpu.

Как правило, NCv2-Series-клиентам следует рассмотреть возможность перехода непосредственно на размеры NC A100 v4, новую платформу Azure с GPU-ускорением, использующую NVIDIA Ampere A100 PCIe GPU.

ND-Series виртуальные машины с графическими процессорами NVIDIA Tesla P40

Виртуальные машины серии ND — это платформа среднего уровня, предназначенная для рабочих нагрузок искусственного интеллекта и глубокого обучения. Они предложили отличную производительность для пакетного инференса с помощью улучшенных операций с одиночной точностью плавающей запятой по сравнению с их предшественниками и основаны на графических процессорах NVIDIA Tesla P40 и центральных процессорах Intel Xeon E5-2690 v4 (Broadwell). Как и серии NC и NC v2, ND-Series предлагает конфигурацию с вторичной сетью с низкой задержкой и высокой пропускной способностью через RDMA, а также подключением InfiniBand, чтобы можно было выполнять крупномасштабные задачи обучения, охватывающие множество GPU.

«NP-Series» виртуальные машины

Виртуальные машины серии NP оснащены AMD Xilinx Alveo U250 FPGAs и используются для пользовательских рабочих нагрузок с ускорением FPGA, таких как инференция машинного обучения, перекодирование видео и поиск по базам данных и аналитика. В отличие от серии виртуальных машин на основе GPU, серия NP использует ускорение FPGA через инструментарии Xilinx XRT/Vitis. Для переноса на альтернативы на основе GPU требуется перенос рабочих нагрузок из платформ на основе FPGA в платформы на основе GPU, такие как CUDA.

Рекомендуемые целевые показатели миграции на основе характеристик рабочей нагрузки:

• NCasT4_v3 (NVIDIA T4) — лучше всего подходит для вывода, интерактивной графики и рабочих нагрузок с учетом затрат.
• NDv2 (NVIDIA V100 с NVLink) — лучше всего подходит для обучения ИИ с ускорением GPU и рабочих нагрузок HPC, требующих высокой памяти GPU и взаимодействия.
• NCads_H100_v5 (NVIDIA H100) — лучше всего подходит для современного обучения ИИ и пакетного вывода по последнему поколению GPU.

Шаги переноса

Общие изменения

1. Выберите серию и размер для миграции. Используйте калькулятор цен для получения дополнительных сведений.

2. Получение квоты для целевой серии виртуальных машин

3. Измените размер текущей виртуальной машины серии N* на целевой размер. Это также может быть хорошим временем для обновления операционной системы, используемой в образе вашей виртуальной машины, или выбора одного из образов HPC с предварительно установленными драйверами для начала работы.

   Это важно

   Возможно, образ виртуальной машины был создан с более старой версией среды выполнения CUDA, драйвера NVIDIA и (если применимо, только для размеров с поддержкой RDMA) драйверов Mellanox OFED, чем требуется новая серия виртуальных машин GPU. Они могут быть обновлены, следуя инструкциям в документации Azure.

Разрушающие изменения

Выбор целевого размера для миграции

После оценки текущего использования выберите нужный тип виртуальной машины GPU. В зависимости от требований рабочей нагрузки у вас есть несколько различных вариантов.

Получение квоты для целевого семейства виртуальных машин

Следуйте инструкциям, чтобы запросить увеличение квоты виртуальных ЦП по семейству виртуальных машин. Выберите целевой размер виртуальной машины, выбранный для миграции.

Изменение размера текущей виртуальной машины

Вы можете изменить размер виртуальной машины.

Дальнейшие шаги

Полный список размеров виртуальных машин с поддержкой GPU см. в разделе GPU — обзор ускорения вычислений