Требования к сети узла для локальной среды Azure

Область применения: Azure Local 2311.2 и более поздних версий

В этом разделе рассматриваются рекомендации и требования к сети для локальной среды Azure. Сведения об архитектуре центра обработки данных и физических подключениях между компьютерами см. в разделе "Требования к физической сети".

Сведения о том, как упростить сеть узлов с помощью Сетевого ATC, см. в разделе "Упрощение сети узлов" с помощью Сетевого ATC.

Типы сетевого трафика

Локальный сетевой трафик Azure можно классифицировать по своей целевой цели:

• Трафик управления: трафик из локальной системы или извне. Например, трафик реплики хранилища или трафик, используемый администратором для управления системой, например удаленным рабочим столом, Windows Admin Center, Active Directory и т. д.
• Вычислительный трафик: трафик, исходящий из виртуальной машины или предназначенный для нее.
• Storage traffic: Traffic using Server Message Block (SMB), for example Storage Spaces Direct or SMB-based live migration. Этот трафик является трафиком уровня 2 и не является маршрутизируемым.

Выбор сетевого адаптера

Сетевые адаптеры определяются типами сетевого трафика (см. выше), для которых они поддерживаются. As you review the Windows Server Catalog, the Windows Server 2022 certification now indicates one or more of the following roles. Прежде чем приобрести компьютер для локальной службы Azure, необходимо иметь по крайней мере один адаптер, который подходит для управления, вычислений и хранения, так как все три типа трафика необходимы в локальной среде Azure. You can then use Network ATC to configure your adapters for the appropriate traffic types.

For more information about this role-based NIC qualification, see this Windows Server blog post.

Требования к драйверу

Драйверы папки "Входящие" не поддерживаются для использования с локальной службой Azure. Чтобы определить, использует ли адаптер драйвер папки "Входящие", выполните следующий командлет. An adapter is using an inbox driver if the DriverProvider property is Microsoft.

Get-NetAdapter -Name <AdapterName> | Select *Driver*

Обзор ключевых возможностей сетевого адаптера

Важные возможности сетевого адаптера, используемые локальной службой Azure, включают:

• Dynamic Virtual Machine Multi-Queue (Dynamic VMMQ or d.VMMQ)
• Удаленный доступ к памяти (RDMA)
• Гость RDMA
• Switch Embedded Teaming (SET)

Dynamic VMMQ

All network adapters with the Compute (Premium) qualification support Dynamic VMMQ. Dynamic VMMQ requires the use of Switch Embedded Teaming.

Применимые типы трафика: вычисления

Необходимые сертификаты: Compute (премиум)

Динамическая VMMQ — это интеллектуальная технология, работающая на стороне приема. It builds upon its predecessors of Virtual Machine Queue (VMQ), Virtual Receive Side Scaling (vRSS), and VMMQ, to provide three primary improvements:

• Оптимизирует эффективность узла с помощью меньшего количества ядер ЦП.
• Автоматическая настройка обработки сетевого трафика на ядра ЦП, что позволяет виртуальным машинам соответствовать ожидаемой пропускной способности и поддерживать ожидаемую пропускную способность.
• Enables "bursty" workloads to receive the expected amount of traffic.

Дополнительные сведения о Dynamic VMMQ см. в записи блога о искусственных ускорениях.

RDMA

RDMA — это разгрузка сетевого стека на сетевой адаптер. Это позволяет трафику хранилища SMB обойти операционную систему для обработки.

RDMA обеспечивает высокую пропускную способность, низкую задержку сети, используя минимальные ресурсы ЦП узла. Затем эти ресурсы ЦП узла можно использовать для запуска дополнительных виртуальных машин или контейнеров.

Применимые типы трафика: хранилище узлов

Необходимые сертификаты: хранение (Стандартное)

Все адаптеры с квалификацией хранилища (Стандартный) или хранилища (Премиум) поддерживают RDMA на стороне узла. Дополнительные сведения об использовании RDMA с гостевыми рабочими нагрузками см. в разделе "Гостевая RDMA" далее в этой статье.

Azure Local supports RDMA with either the Internet Wide Area RDMA Protocol (iWARP) or RDMA over Converged Ethernet (RoCE) protocol implementations.

Не все сетевые адаптеры от поставщиков поддерживают RDMA. В следующей таблице перечислены поставщики (в алфавитном порядке), которые предлагают сертифицированные адаптеры RDMA. Однако поставщики оборудования не включены в этот список, которые также поддерживают RDMA. Ознакомьтесь с каталогом Windows Server, чтобы найти адаптеры с квалификацией Storage (Стандарт) или Storage (Премиум), для которых требуется поддержка RDMA.

For more information on deploying RDMA for the host, we highly recommend you use Network ATC. Сведения о развертывании вручную см. в репозитории SDN GitHub.

iWARP

iWARP использует протокол TCP и может быть дополнительно улучшен с помощью управления потоками на основе приоритета (PFC) и расширенной службы передачи (ETS).

Используйте iWARP, если:

• У вас нет опыта управления сетями RDMA.
• You don't manage or are uncomfortable managing your top-of-rack (ToR) switches.
• После развертывания вы не будете управлять решением.
• У вас уже есть развертывания, использующие iWARP.
• Вы не уверены, какой вариант выбрать.

RoCE

RoCE использует протокол пользовательских дейтаграмм (UDP) и требует PFC и ETS для обеспечения надежности.

Используйте RoCE, если:

• You already have deployments with RoCE in your datacenter.
• You're comfortable managing the DCB network requirements.

Guest RDMA

Гостевая RDMA не поддерживается в локальной среде Azure.

Switch Embedded Teaming (SET)

SET — это технология группирования на основе программного обеспечения, которая была включена в операционную систему Windows Server с Windows Server 2016. SET — это единственная технология группирования, поддерживаемая Azure Local. SET хорошо работает с трафиком вычислений, хранилища и управления и поддерживает до восьми адаптеров в одной команде.

Применимые типы трафика: вычислительные ресурсы, хранилище и управление

Необходимые сертификаты: Вычисления (Стандарт) или Вычисления (Премиум)

SET — это единственная технология группирования, поддерживаемая Azure Local. SET хорошо работает с трафиком вычислений, хранилища и управления.

Set важен для локальной службы Azure, так как это единственная технология группирования, которая включает:

• Объединение адаптеров RDMA (при необходимости).
• Гостевой RDMA (Удалённый прямой доступ к памяти).
• Dynamic VMMQ.
• Другие ключевые функции Azure Local (см . раздел "Командирование" в локальной среде Azure).

SET требует использования симметричного (идентичного) адаптера. Симметричные сетевые адаптеры — это адаптеры со следующими одинаковыми параметрами:

• марка (поставщик);
• модель (версия);
• скорость (пропускная способность).
• конфигурация

В 22H2 сетевой ATC автоматически обнаружит и сообщит вам, являются ли выбранные адаптеры асимметричными. Самый простой способ вручную определить, являются ли адаптеры симметричными, если скорость и описание интерфейса совпадают. Они могут отклоняться только в числовом значении, указанном в описании. Use the Get-NetAdapterAdvancedProperty cmdlet to ensure the configuration reported lists the same property values.

См. следующую таблицу для примера описаний интерфейса, различающихся только по числовым значениям (#):

RDMA traffic considerations

При реализации DCB необходимо убедиться, что конфигурация PFC и ETS реализована правильно по каждому сетевому порту, включая сетевые коммутаторы. DCB требуется для RoCE и необязательно для iWARP.

For detailed information on how to deploy RDMA, download the document from the SDN GitHub repo.

Для локальных реализаций Azure на основе RoCE требуется настройка трех классов трафика PFC, включая класс трафика по умолчанию в структуре и всех узлах.

Класс системного трафика

Этот класс трафика обеспечивает резервирование достаточной полосы пропускания для системных сигналов активности.

• Обязательный: да
• PFC включено: Нет
• Рекомендуемый приоритет трафика: приоритет 7
• Рекомендуемое резервирование пропускной способности:
  • Сети RDMA на 10 Гбит/с или ниже = 2 процента
  • 25 ГбE или более высокие сети RDMA = 1 процент

Класс трафика RDMA

Этот класс трафика обеспечивает достаточную пропускную способность, зарезервированную для обмена данными RDMA без потери с помощью SMB Direct:

• Обязательный: да
• Включено PFC: Да
• Рекомендуемый приоритет трафика: приоритет 3 или 4
• Рекомендуемое резервирование пропускной способности: 50 процентов

Класс трафика по умолчанию

Этот класс трафика содержит весь другой трафик, не определенный в классах трафика RDMA, включая трафик виртуальной машины и трафик управления:

• Обязательный: по умолчанию (конфигурация на узле не требуется)
• Управление потоком (PFC) включено: нет
• Рекомендуемый класс трафика: по умолчанию (приоритет 0)
• Рекомендуемое резервирование пропускной способности: по умолчанию (конфигурация узла не требуется)

Модели трафика хранилища

SMB предоставляет множество преимуществ в качестве протокола хранения для локальной среды Azure, включая SMB Multichannel. SMB Multichannel не рассматривается в этой статье, но важно понимать, что трафик мультиплексирован по каждой возможной ссылке, которую может использовать SMB Multichannel.

Рассмотрим следующий пример системы четырех узлов. Каждый компьютер имеет два порта хранилища (слева и справа). Так как каждый адаптер находится в одной подсети и виртуальной локальной сети, SMB Multichannel будет распространять подключения по всем доступным ссылкам. Поэтому левый порт на первом компьютере (192.168.1.1) сделает подключение к левому порту на втором компьютере (192.168.1.2). Правый порт на первом компьютере (192.168.1.12) подключается к правому порту на втором компьютере. Аналогичные подключения устанавливаются для третьих и четвертых компьютеров.

However, this creates unnecessary connections and causes congestion at the interlink (multi-chassis link aggregation group or MC-LAG) that connects the ToR switches (marked with Xs). Рассмотрим схему ниже.

Рекомендуемый подход заключается в использовании отдельных подсетей и виртуальных ЛС для каждого набора адаптеров. На следующей схеме правые порты теперь используют подсеть 192.168.2.x /24 и VLAN2. Это позволяет трафику на левых портах оставаться в TOR1, а трафик на правых портах оставаться в TOR2.

Распределение пропускной способности трафика

В следующей таблице показаны примеры распределения пропускной способности различных типов трафика с использованием общих скоростей адаптера в локальной среде Azure. Обратите внимание, что это пример конвергентного решения, где все типы трафика (вычислительные ресурсы, хранилище и управление) выполняются через одни и те же физические адаптеры и объединяются с помощью SET.

Так как этот вариант использования представляет собой самые ограничения, он представляет хороший базовый план. Однако, учитывая перемутацию числа адаптеров и скоростей, это следует считать примером, а не требованием поддержки.

Ниже приведены предположения, приведенные в следующем примере:

• Для каждой команды существует два адаптера.

• Storage Bus Layer (SBL), Cluster Shared Volume (CSV), and Hyper-V (Live Migration) traffic:

  • Используйте те же физические адаптеры.
  • Используйте SMB.

• SMB is given a 50 percent bandwidth allocation by using DCB.

  • SBL/CSV является самым приоритетным трафиком и получает 70 процентов резервирования пропускной способности SMB.
  • Live Migration (LM) is limited by using the Set-SMBBandwidthLimit cmdlet, and receives 29 percent of the remaining bandwidth.

    • Если доступная пропускная способность для живой миграции составляет >= 5 Гбит/с, и сетевые адаптеры поддерживают RDMA, используйте его. Используйте следующую командлет для этого:

      Set-VMHost -VirtualMachineMigrationPerformanceOption SMB
      

    • Если доступная пропускная способность для динамической миграции составляет < 5 Гбит/с, используйте сжатие для уменьшения времени отключения. Используйте следующую командлету для этого.

      Set-VMHost -VirtualMachineMigrationPerformanceOption Compression
      

• Если вы используете RDMA для трафика динамической миграции, убедитесь, что трафик динамической миграции не может использовать всю пропускную способность, выделенную для класса трафика RDMA, с помощью ограничения пропускной способности SMB. Будьте осторожны, так как этот командлет принимает значения в байтах в секунду (Bps), в то время как сетевые адаптеры указываются в битах в секунду (bps). Используйте следующий командлет, чтобы задать ограничение пропускной способности 6 Гбит/с, например:

  Set-SMBBandwidthLimit -Category LiveMigration -BytesPerSecond 750MB
  

  Примечание.

  750 МБИТ/с в этом примере приравнивается к 6 Гбит/с.

Ниже приведен пример таблицы распределения пропускной способности:

* Используйте сжатие, а не RDMA, так как распределение пропускной способности для трафика динамической миграции составляет <5 Гбит/с.

** 50 процентов — это пример резервирования пропускной способности.

Растянутые кластеры

Растянутые кластеры обеспечивают аварийное восстановление, охватывающее несколько центров обработки данных. В самой простой форме растянутый кластер Azure Local выглядит следующим образом:

Требования к растянутому кластеру

Растянутые кластеры имеют следующие требования и характеристики:

• RDMA ограничен одним сайтом и не поддерживается в разных сайтах или подсетях.

• Машины на одном участке должны находиться в одной стойке и в пределах границы уровня 2.

• Передача данных между узлами должна пересекать границу третьего уровня (Layer-3); расширенные топологии второго уровня (Layer-2) не поддерживаются.

• Достаточно пропускной способности для обработки рабочих нагрузок на другом сайте. In the event of a failover, the alternate site will need to run all traffic. Рекомендуется размещать сайты, используя 50 процентов доступной пропускной сетевой способности. This isn't a requirement, however, if you are able to tolerate lower performance during a failover.

• Адаптеры, используемые для обмена данными между сайтами:

  • Can be physical or virtual (host vNIC). Если адаптеры являются виртуальными, необходимо подготовить одну vNIC в собственной подсети и VLAN на каждый физический сетевой адаптер.

  • Must be on their own subnet and VLAN that can route between sites.

  • RDMA необходимо отключить с помощью командлета Disable-NetAdapterRDMA . Рекомендуем явно указывать, чтобы Storage Replica использовала определенные интерфейсы с помощью командлета Set-SRNetworkConstraint.

  • Must meet any additional requirements for Storage Replica.

Следующие шаги

• Сведения о сетевом коммутаторе и требованиях к физической сети. См. сведения о требованиях к физической сети.
• Узнайте, как упростить сетевое подключение хоста с помощью Network ATC. See Simplify host networking with Network ATC.
• Освежите знания по основам сетевого взаимодействия в отказоустойчивых кластерах.
• См. статью "Развертывание с помощью портал Azure".
• См. раздел "Развертывание с помощью шаблона Azure Resource Manager".