Серия NDGB300v6 — это линия виртуальных машин GPU следующего поколения Azure, созданная для крупномасштабных ИИ, особенно для высокопроизводительного вывода в системах рассуждения и агентных системах. Эти виртуальные машины поддерживаются системами уровня стойки NVIDIA GB300 NVL72 (графические процессоры Blackwell Ultra + Grace CPU). Каждая виртуальная машина ND-GB300-v6 имеет два ЦП NVIDIA Grace и четыре GPU Blackwell B300. Графические процессоры подключаются через NVLINK пятого поколения, предоставляя в общей сложности 4× 1,8 ТБ/с пропускной способности NVLINK на каждую виртуальную машину. Каждый GPU также оснащён интерфейсом InfiniBand со скоростью 800 Гбит/с, что обеспечивает производительность на уровне кластера при низкой задержке. Существует 18 виртуальных машин на каждую стойку, что составляет в общей сложности 72 графических процессора NVIDIA Blackwell Ultra с 36 центральными процессорами NVIDIA Grace, предоставляя около 37 ТБ быстрой памяти (~20 ТБ памяти с высокой пропускной способностью, ~17 ТБ памяти ЦП) и 130 ТБ/с пропускной способности интрарак NVLink.
В масштабе стойки ND GB300 v6 обеспечивает до 1,44 exaFLOPS FP4 Tensor Core производительности на домене NVL72 и демонстрирует около 1,1 миллиона токенов/секунду производительность вывода LLM на стойку, что на ~27% выше, чем у ND GB200 v6. Дополнительные сведения см. здесь. По сравнению с GB200, GB300 предоставляет около 1,5× вычислительных ресурсов FP4, 50% более высокую емкость HBM (288 ГБ HBM3E на GPU и 192 ГБ), а также 2x пропускную способность внутренней сети на GPU (800 Гбит/с и 400 Гбит/с).
Архитектура ND GB300 v6 базируется на ND v6 GB200 и обеспечивает эффективное распределение рабочих нагрузок и потребностей в памяти между несколькими GPU, что приводит к значительно более высокой пропускной способности вывода для длительных контекстов и многомодальных задач в ИИ и научных приложениях. Эти экземпляры обеспечивают оптимальную производительность для рабочих нагрузок искусственного интеллекта, машинного обучения и аналитики с поддержкой встроенных платформ, таких как PyTorch, Tensorflow, JAX, RAPIDS и многое другое.
Характеристики хоста
| Часть |
Количество
Подсчет единиц |
Технические характеристики
Идентификатор SKU, единицы производительности и т. д. |
| Процессор |
128 виртуальных ЦП |
ЦП Nvidia Grace |
| Memory |
864 ГиБ |
LPDDR5X |
| Локальное хранилище |
4 диска |
16 ТиБ (NVMe) |
| Удаленное хранилище |
16 дисков |
80 000 операций ввода-вывода в секунду
1200 Мбит/с |
| Сеть |
1 сетевой адаптер |
160 Гбит/с Ethernet |
| Ускорители |
4 GPU |
Nvidia Blackwell Ultra GPU (288 ГБ) |
Сведения о функциях, поддерживаемых этой серией, см. в разделе поддержки компонентов .
Размеры серий
виртуальные ЦП (количество) и память для каждого типа конфигурации
| Название размера |
виртуальные процессоры (кол-во) |
Память (ГиБ) |
| Standard_ND128isr_GB300_v6 |
128 |
864 |
| Standard_ND128isrG5_GB300_v6 |
128 |
864 |
Основные ресурсы виртуальной машины
Сведения о локальном (временном) хранилище для каждого размера
| Название размера |
Диски временного хранилища (кол-во) |
Размер диска temp (ТБ) |
| Standard_ND128isr_GB300_v6 |
4 |
16 |
| Standard_ND128isrG5_GB300_v6 |
4 |
16 |
Ресурсы хранилища
Определения таблиц
- Производительность временных дисков зависит от многих факторов, включая размер блока, шаблоны рабочих нагрузок чтения и записи, глубину очереди (QD) и другие. Спецификации производительности временных дисков должны рассматриваться как показатели наилучшей производительности при размере блока 4k и QD=256 для операций ввода-вывода (IOPS) и размере блока 256k с QD=64 для пропускной способности (throughput). Кроме того, производительность временных дисков часто отличается от операций чтения и записи. Во время работы в устойчивом состоянии ожидается, что производительность записи будет ниже, чем производительность чтения.
- Емкость хранилища отображается в единицах ГиБ (1 ГиБ = 1024^3 байтов). При сравнении емкости дисков, измеренной в гигабайтах (1000^3 байтов), с емкостью дисков, измеренной в гибибайтах (1024^3), помните, что значения емкости в ГиБ могут казаться меньшими. Например, 1023 ГиБ = 1098,4 ГБ.
- Пропускная способность дисков измеряется в операциях ввода-вывода в секунду (IOPS) и МБит/с, где 1 МБит/с = 10^6 байтов в секунду.
- Сведения о том, как получить оптимальную производительность хранилища для виртуальных машин, см. в статье Производительность диска и виртуальной машины.
Сведения об удаленном (некэшированном) хранилище для каждого размера
| Название размера |
Максимальное число дисков удаленного хранилища (Qty.) |
Некичированные операции ввода-вывода в секунду на диск |
Скорость некичированного диска (MBps) |
| Standard_ND128isr_GB300_v6 |
16 |
80,000 |
1,200 |
| Standard_ND128isrG5_GB300_v6 |
16 |
80,000 |
1,200 |
Ресурсы хранилища
Определения таблиц
- Некоторые размеры поддерживают всплеск производительности, чтобы временно увеличить производительность диска. Скорость всплеска может поддерживаться до 30 минут за раз.
- Специальное хранилище относится к хранилищу SSD категории "Ультра" или "Премиум" версии 2 .
- Емкость хранилища отображается в единицах ГиБ (1 ГиБ = 1024^3 байтов). При сравнении емкости дисков, измеренной в гигабайтах (1000^3 байтов), с емкостью дисков, измеренной в гибибайтах (1024^3), помните, что значения емкости в ГиБ могут казаться меньшими. Например, 1023 ГиБ = 1098,4 ГБ.
- Пропускная способность дисков измеряется в операциях ввода-вывода в секунду (IOPS) и МБит/с, где 1 МБит/с = 10^6 байтов в секунду.
- Диски данных могут работать в режиме кэширования и в режиме без кэширования. Для операций с данными, кэшируемыми на диске, режим кэширования хоста следует задать как ReadOnly или ReadWrite. Для операций с не кешируемыми дисковыми данными режим кэширования хоста установлен на None.
- Сведения о том, как получить оптимальную производительность хранилища для виртуальных машин, см. в статье Производительность диска и виртуальной машины.
Сведения о сетевом интерфейсе для каждого размера
| Название размера |
Макс. количество внешних сетевых интерфейсов |
Максимальная пропускная способность переднего плана (Мбит/с) |
Максимальное масштабирование сетевых карт (количество) |
Максимальная пропускная способность при масштабировании вверх (TBps) |
Максимальное количество сетевых интерфейсных карт (шт.) |
Максимальная пропускная способность горизонтального масштабирования (Гбит/с) |
| Standard_ND128isr_GB300_v6 |
1 |
160 |
4 |
1.8 |
4 |
4x800 |
| Standard_ND128isrG5_GB300_v6 |
1 |
160 |
4 |
1.8 |
4 |
4x800 |
Сетевые ресурсы
Определения таблиц
- Пропускная способность на сетевой адаптер составляет до 100 000 GPU через InfiniBand
- Пропускная способность составляет до 72 GPU на домен через NVLINK
- Ожидаемая пропускная способность сети — это максимальная совокупная пропускная способность, выделенная на каждый тип виртуальной машины по всем сетевым адаптерам для всех назначений. Дополнительные сведения см. в разделе " Пропускная способность сети виртуальной машины"
- Верхние пределы не гарантированы. Пределы предлагают руководство по выбору типа виртуальной машины, подходящего для предполагаемого приложения. Фактическая производительность сети зависит от нескольких факторов, в том числе загрузки сети и приложения, а также параметров сети. Сведения об оптимизации пропускной способности см. в статье Оптимизация пропускной способности сети для виртуальных машин Azure.
- Чтобы обеспечить ожидаемую производительность сети на виртуальных машинах Linux или Windows, возможно, потребуется выбрать определенную версию виртуальной машины или оптимизировать ее. Дополнительные сведения см. в разделе "Тестирование пропускной способности и производительности" (NTTTCP).
Сведения об акселераторе (GPU, FPGAs и т. д.) для каждого размера
| Название размера |
Акселераторы (Кол-во) |
Акселератор-память (ГБ) |
| Standard_ND128isr_GB300_v6 |
4 |
288 |
| Standard_ND128isrG5_GB300_v6 |
4 |
288 |
Поддержка функций
Список всех доступных размеров: размеры
Калькулятор цен: Калькулятор цен
Сведения о типах дисков: типы дисков
Дальнейшие шаги
Воспользуйтесь новейшими функциями и производительностью, доступными для рабочих нагрузок, изменив размер виртуальной машины.
Используйте встроенные процессоры ARM корпорации Майкрософт с виртуальными машинами Azure Cobalt.
Узнайте, как отслеживать виртуальные машины Azure.