Архитектура хранилища отказоустойчивой кластеризации

Отказоустойчивая кластеризация Windows Server поддерживает несколько шаблонов архитектуры хранилища, которые обеспечивают высокий уровень доступности и устойчивость кластеризованных ролей. В этой статье рассматриваются архитектуры хранения, включая SAN, NAS, гиперконвергентные системы, дезагрегированные Storage Spaces Direct и смешанные топологии.

Архитектуры хранилища, описанные здесь, отражают масштабирование вычислительных и хранилищных компонентов, а также способ использования общих томов кластера (CSV) или пространства хранилища на основе Storage Spaces Direct (S2D). В этой статье не описаны все возможные конфигурации архитектуры хранилища или редкие пограничные варианты.

Сравнение архитектуры

Все архитектуры зависят от функций кластера (кворума, мониторинга работоспособности, аварийного переключения), описанных в обзоре. Сведения об использовании CSV (синхронизация метаданных, перенаправление ввода-вывода) доступны в разделе обзора CSV. Для получения рекомендаций по SAN и NAS (мультипути, изоляция), см. требования к оборудованию кластеризации. Семантика активно-активного файлового сервера Scale-Out рассматривается в обзоре.

Хранилище SAN или NAS

Разделенное хранилище SAN или NAS (включая общие папки SMB 3.0) помещает хранилище в отдельную структуру. Узлы кластера получают доступ к хранилищу по сети. Независимое масштабирование вычислительных ресурсов и хранилища.

Ключевыми характеристиками модели распределенной SAN или NAS являются:

• Поддерживает резервирование для виртуальных машин, данных файлового сервера Scale-Out, SQL Server на SMB-протоколе и других кластеризованных приложений.

• Платформа SAN или NAS обеспечивает доступность и устойчивость хранилища. Используйте группу ввода-вывода или сетевого адаптера с несколькими путими для устранения отдельных точек сбоя (см. требования к оборудованию).

• Общие папки SMB могут воспользоваться преимуществами SMB Multichannel и SMB Direct для обеспечения пропускной способности и устойчивости.

• Независимое масштабирование: добавление вычислительных ресурсов (ЦП/ОЗУ) без хранилища или расширение хранилища в одиночку.

• Кластеры поддерживают до 64 узлов.

Перед развертыванием или расширением отказоустойчивого кластера SAN или NAS, ознакомьтесь со следующими рекомендациями по планированию.

• Масштабирование и производительность зависят от поставщика. Ознакомьтесь с рекомендациями по платформе.

• Поддерживайте согласованность встроенного ПО и драйверов для блочных протоколов (Fibre Channel, iSCSI). Обеспечение избыточности сети для SMB.

• Изолируйте трафик хранилища от путей, используемых клиентами и системами управления, чтобы уменьшить конкуренцию за ресурсы.

• Запланируйте доступность и избыточность сетевого пути, чтобы соответствовать надёжности платформы хранения данных.

• Примените списки управления доступом к общим файлам, чтобы только узлы кластера могли обращаться к общим ресурсам.

Выберите эту модель, если жизненный цикл или рост хранилища отличается от вычислительных ресурсов или если централизованное общее хранилище должно обслуживать несколько кластеров. Масштабирование кластера хранилища зависит от поставщика. Обратитесь к поставщикам, чтобы понять, как решение хранилища, которое они предлагают, может масштабироваться.

Hyperconverged

В этой гиперконвергентной конфигурации Storage Spaces Direct объединяет локальные диски в каждом узле кластера в единый общий пул хранения, представляет тома как общие тома кластера (CSV) и реплицирует данные между узлами кластера для повышения отказоустойчивости. Вычислительные ресурсы (ЦП и ОЗУ) и емкость хранилища объединяются при добавлении узлов кластера.

Ключевые характеристики гиперконвергентной модели:

• Поддерживает кластеризованные рабочие нагрузки, такие как виртуальные машины, данные приложений Scale-Out файлового сервера, базы данных SQL Server (на SMB и CSV), и контейнеризированные приложения.

• Переключение кластера позволяет виртуальным машинам и другим кластеризованным ролям перемещаться или перезапускаться на любом узле в кластере.

• Локальные устройства NVMe, SSD и HDD объединяются в пул, а тома предоставляются в виде CSV для единого пространства имен.

• Устойчивость данных использует зеркальное отображение, четность или вложенную устойчивость, а данные реплицируются на другие узлы. Дополнительные сведения о отказоустойчивости для дискового пространства Direct см. в разделе "Отказоустойчивость" и эффективность хранилища.

• Симметричное масштабирование, что означает, что каждый добавленный узел вносит как вычислительные ресурсы, так и хранилище.

• Кластеры поддерживают от 1 до 16 узлов с использованием Storage Spaces Direct.

• Сеть с низкой задержкой восток-запад и, если настроена, RDMA (RoCE или iWARP) повышает пропускную способность и снижает нагрузку на ЦП.

Рекомендации по планированию перед развертыванием или расширением гиперконвергированных кластеров:

• Обеспечение согласованности версий встроенного ПО и драйверов между адаптерами и дисками хранилища.

• Проверьте конфигурацию сети (QoS, приоритет RDMA и управление потоками), чтобы избежать перегрузки и обеспечить прогнозируемую задержку.

• Определение размера кэша и уровней емкости (NVMe, SSD и HDD) с использованием опубликованных рекомендаций для поддержания рекомендованных соотношений производительности.

• Резервируйте емкость для перестроения так, чтобы кластер мог безопасно терпеть сбои диска или узла и не работал при почти полном использовании.

• Проактивно отслеживайте работоспособность диска, корпуса накопителя и репликации.

Разделенные локальные дисковые пространства

Неагрегированные Storage Spaces Direct разделяют вычисление и хранилище на отдельные кластеры. Вычислительный кластер, выполняющий нагрузки, такие как виртуальные машины, роли файлового сервера Scale-Out, базы данных SQL Server или контейнерные приложения, обращается к хранилищу, предоставляемому отдельным кластером Хранилища с прямым доступом через SMB 3.0.

Ключевые характеристики архитектуры с разделенными Storage Spaces Direct:

• Независимое масштабирование: добавьте только вычислительные узлы для большего объема ресурсов ЦП и ОЗУ или добавьте только узлы хранилища для емкости и производительности. Темпы роста могут отличаться.

• Поддерживает те же кластеризованные рабочие нагрузки, что и гиперконвергентные модели, когда они доступны через ресурсы, поддерживаемые SMB или CSV.

• Кластер хранилища использует зеркальное отображение, четность или вложенную устойчивость и данные реплицируются на другие узлы. Дополнительные сведения о отказоустойчивости для дискового пространства Direct см. в разделе "Отказоустойчивость" и эффективность хранилища.

• Изоляция обслуживания: вы можете устанавливать исправления или перезагрузку узлов хранилища отдельно от вычислительных узлов.

• Несколько вычислительных кластеров могут использовать общие ресурсы из одного кластера хранилища (при условии планирования емкости и производительности).

• Вычислительные кластеры поддерживаются между 1 и 64 узлами.

• Кластеры хранилища поддерживают от 1 до 16 узлов.

• Для обеспечения прогнозируемой производительности требуется надёжное восточно-западное сетевое соединение с низкой задержкой между кластерами (опционально RDMA).

Рекомендации по планированию перед развертыванием или расширением дезагрегированных Storage Spaces Direct:

• Синхронизация обновлений встроенного ПО, драйверов и ОС на всех узлах хранилища. Избегайте смешанных версий драйверов.

• Проверьте конфигурацию сети (QoS, приоритет RDMA и управление потоками), чтобы избежать перегрузки и обеспечить прогнозируемую задержку.

• Прогнозирование разнонаправленного роста (CPU, RAM, емкости и IOPS) и установка пороговых значений для масштабирования каждого кластера отдельно.

• Применение доступа с минимальными привилегиями. Ограничить административный доступ между вычислительными и хранилищными кластерами, используя ACL для общих папок, применяя их только к необходимым узлам кластера.

• Отслеживайте работоспособность дисков, корпуса и репликации в кластере хранилища, чтобы независимые вычислительные ресурсы не влияли на доступность хранилища.

На следующей схеме показано разъединяемое развертывание с одним вычислительным кластером и одним кластером хранилища.

При добавлении дополнительных вычислительных ресурсов можно добавить новый узел в существующий вычислительный кластер или добавить новый кластер. На следующей схеме показано, что происходит с простым развертыванием при добавлении в него нового кластера без добавления дополнительного хранилища.

При добавлении дополнительных ресурсов хранилища для размещения данных без добавления дополнительных вычислительных ресурсов можно добавить новый узел в существующий кластер хранилища или добавить новый кластер. На следующей схеме показано, как выглядит простое развертывание при добавлении нового кластера без добавления вычислительных ресурсов, таких как ЦП или ОЗУ.

Гиперконвергированная система с системой хранения SAN

Начиная с Windows Server 2022, вы можете объединить гиперконвергентные дисковые пространства Storage Spaces Direct с внешним SAN хранилищем в одном отказоустойчивом кластере. Эта архитектура объединяет гиперконвергентный кластер Storage Spaces Direct (локальные диски, объединенные в пул и предоставляемые как кластеры с поддержкой ReFS) с внешним хранилищем SAN, представленным в том же кластере и добавленным в качестве кластера с поддержкой NTFS. Два источника хранилища сосуществуют, но остаются отдельными.

Ключевые характеристики гиперконвергентной модели плюс SAN:

• Сосуществование: S2D CSV и CSV SAN работают параллельно в одном отказоустойчивом кластере.

• Строгое разделение: диски SAN никогда не должны добавляться в локальный пул дисковых пространств и управляются независимо.

• Требования к форматированию:

  • Отформатируйте тома SAN как NTFS перед преобразованием их в общие тома кластера.

  • Форматируйте тома Storage Spaces Direct в ReFS перед их преобразованием в общие кластера.

• Поддерживаемые подключения SAN включают Fibre Channel, iSCSI и целевой объект iSCSI.

• Гибкость размещения рабочей нагрузки: на томах S2D можно размещать рабочие нагрузки, чувствительные к задержке, или оптимизированные для ReFS (например, большие наборы VHDX или уровни контейнеров). Поместите рабочие нагрузки, требующие определенных функций NTFS или существующих средств управления SAN на томах SAN.

• Независимое расширение емкости. Добавление гиперконвергентных узлов (добавляет вычислительные ресурсы и хранилище) или расширение емкости SAN (добавляет только хранилище), не затрагивая другое.

• Домены сбоев остаются отдельными: S2D обрабатывает сбои дисков и узлов с помощью наборов для обеспечения надежности. SAN обрабатывает доступность с помощью собственного контроллера, структуры или проектирования нескольких путей.

• Кластеры Storage Spaces Direct поддерживают от 1 до 16 узлов.

Рекомендации по планированию перед развертыванием или расширением объединенной гиперконвергентной архитектуры и архитектуры SAN:

• Масштабирование и производительность SAN зависят от поставщика—обратитесь к рекомендациям по платформе.

• Не пытайтесь добавлять диски, предоставляемые SAN, в пулы носителей S2D.

• Сохраняйте согласованные версии встроенного ПО и драйверов для обеих подсистем хранения (адаптеров S2D и HBA/NIC SAN).

• Установите рекомендации по размещению рабочих нагрузок (например, высокий объем обработки или пригодность дедупликации) и документируйте, какой тип CSV следует использовать.

• Отслеживайте тенденции емкости отдельно: использование пула S2D и использование массива SAN для прогнозирования обновлений.

• Выравнивание стратегий резервного копирования и аварийного восстановления; Моментальные снимки SAN и резервные копии томов на основе S2D могут соответствовать разным расписаниям и инструментам.

• Проверяйте изоляцию производительности; интенсивный SAN I/O не должен перегружать трафик восток-запад репликации S2D.

• Необходимо спланировать доступность и избыточность сетевого пути и SAN, чтобы они соответствовали уровню доступности каждой платформы хранения.

Поддержка смешанной архитектуры

Hyper-V поддерживает объединение следующих архитектур в одном вычислительном кластере:

• Hyper-V с локальными дисковыми пространствами с разбивкой

• Дезагрегированный Hyper-V с SAN

• Дезагрегированные данные Hyper-V с NAS

На следующей схеме показан пример развертывания с вычислительным кластером, содержащим сочетание разъединяемого хранилища SAN и NAS.

Протоколы сетевого хранилища

Windows Server поддерживает следующие протоколы хранения сетевых файлов:

• SMB через TCP

• SMB через QUIC

• SMB через протокол RDMA (SMB Direct)

Windows Server также поддерживает следующие протоколы хранения сетевых блоков:

• iSCSI

• Fibre Channel

• InfiniBand

Корпорация Майкрософт также предоставляет встроенный программный iSCSI-инициатор для сетевого блочного хранилища.

Вы также можете использовать клиент поставщика хранилища для любого устройства, доступного в каталоге Windows Server.