Поделиться через

Репликация растянутого кластера с помощью общего хранилища

Этот пример оценки позволяет настроить компьютеры и их хранилище в едином растянутом кластере, где два узла совместно используют один набор хранилища, а другие два узла — другой набор хранилища, а репликация обеспечивает зеркальное отображение обоих наборов хранилища в кластере, чтобы обеспечить немедленный отказоустойчивый переход. Эти узлы и их хранилище должны находиться на отдельных физических сайтах, хотя это не обязательно. Здесь приведены отдельные шаги для создания кластеров Hyper-V и файлового сервера в рамках примеров сценариев.

Внимание

Серверы на разных сайтах должны иметь возможность взаимодействовать с другими серверами через сеть, но не иметь физического подключения к общему хранилищу другого сайта. Этот сценарий не использует технологию Storage Spaces Direct.

В этом пошаговом руководстве в качестве примера используется следующая среда:

  • Четыре сервера с именем SR-SRV01, SR-SRV02, SR-SRV03и SR-SRV04.

  • Четыре сервера формируются в один кластер, называемый SR-SRVCLUS.

  • Пара логических "сайтов", представляющих два разных центра обработки данных. Один называется Редмонд и другой называется Bellevue.

  • Серверы SR-SRV01 и SR-SRV02 принадлежат сайту Redmond.

  • Серверы SR-SRV03 и SR-SRV04 принадлежат сайту Bellevue.

Диаграмма, показывающая, как два узла в Редмонде дублируются с двумя узлами того же кластера в Белвью.

Примечание.

Можно использовать только два узла. При этом на каждом сайте используется по одному узлу. Однако вы не можете выполнить переключение при отказе внутри сайта только с двумя серверами. Можно использовать до 64 узлов.

Требования

  • Программное обеспечение:

    • 2-64 серверы под управлением Windows Server 2016 Datacenter Edition или более поздней версии. Если вы работаете под управлением Windows Server 2019, вы можете использовать Standard Edition, если вы комфортно реплицируете только один том размером до 2 ТБ.
    • Роль доменных служб Active Directory, функции отказоустойчивой кластеризациии реплики хранилища должны быть установлены на вашем устройстве. Дополнительные сведения см. в разделе Установка или удаление ролей, служб ролей или компонентов.
    • Ваше устройство должно быть частью леса доменов Active Directory (AD).
    • Соответствующие правила брандмауэра и маршрутизатора для разрешения двунаправленного трафика ICMP, порта SMB 445, порта SMB Direct 5445 и порта WS-MAN 5985 между всеми узлами.

  • Оборудование:

    • По крайней мере 2 ГБ ОЗУ и два ядра на сервер. Вам потребуется больше ОЗУ и ядер для сред виртуальных машин.
    • Два набора общего хранилища с использованием SAS JBOD (как в Дисковых пространствах), Fibre Channel SAN, Shared VHDX или iSCSI Target.
    • Хранилище должно содержать жесткий диск и твердотельный накопитель, а также поддерживать постоянное резервирование. Каждый набор хранилища должен быть доступен только для двух серверов (асимметричные).
      • Физическое хранилище должно быть идентичным в емкости, иметь одинаковые размеры сектора на всех дисках данных и дисках журналов.
      • Диски данных и журналов должны быть инициализированы как GPT.
      • Тома должны быть отформатированы как NTFS или ReFS.
      • Тома журналов должны использовать хранилище на базе флэш-памяти и параметры устойчивости, обеспечивающие высокую производительность. Корпорация Майкрософт рекомендует быстрее хранить журналы, чем хранилище данных.
      • Размер журнала по умолчанию — 8 ГБ, если не указано. Объем журнала должен быть не менее 10 ГБ или больше в зависимости от требований к журналам и потребностей организации.
    • Каждый набор хранилищ должен допускать создание по меньшей мере двух виртуальных дисков: один для реплицируемых данных и один для журналов.
    • Реплицированное хранилище не может находиться на диске, содержащем папку операционной системы Windows.

  • конфигурация диска:

    • шкафы JBOD

      • Убедитесь, что каждая пара узлов сервера может видеть только хранилищные отсеки этого сайта (асимметричное хранилище) и что подключения SAS настроены правильно.

      • Подготовьте хранилище с помощью дисковых пространств, выполнив шаги 1–3, указанные в развертывании дисковых пространств на автономном сервере с помощью PowerShell или диспетчера серверов.

    • хранилище iSCSI

      • Убедитесь, что каждая пара серверных узлов может видеть только хранилища данного сайта, например асимметричное хранилище. При работе с iSCSI следует использовать несколько сетевых адаптеров.

      • Подготовьте хранилище в соответствии с документацией поставщика. Если используется таргетирование iSCSI на базе Windows, ознакомьтесь с обзоромсервера-цели iSCSI.

    • Для хранилища SAN FC:

      • Убедитесь, что парные узлы сервера могут видеть только корпуса хранилища сайта (асимметричное хранилище) и что вы правильно настроили зоны узлов.

      • Подготовьте хранилище в соответствии с документацией поставщика.

  • Сеть:

    • По крайней мере одно соединение с 1 ГбE на каждом сервере для синхронной репликации.
    • Сеть между серверами с достаточной пропускной способностью для обработки вашей рабочей нагрузки на запись ввода-вывода и в среднем около 5 мс задержки на круговой оборот для синхронной репликации. Асинхронная репликация не имеет рекомендации по задержке.

Примечание.

Диски данных могут использовать зеркальные или четные пространства или RAID 1 или 10, RAID 5 или RAID 50.

Тома журнала никогда не должны использоваться для других рабочих нагрузок.

Внимание

Хотя можно подключить устройство хранилища к одному серверу и использовать его для репликации, отказоустойчивая кластеризация Windows по-прежнему зависит от постоянных резервирований SCSI. Поэтому хранилище должно быть общим типом хранилища, таким как технология SAN. Локальные диски или диски, представленные гипервизором, могут быть несовместимы. В Azure диски должны быть размером SSD уровня "Премиум", поддерживающим общий доступ, даже если к нему подключена только одна виртуальная машина.

Многие из этих требований можно определить с помощью командлета Test-SRTopology. Средство будет доступно, если установить функцию Средство репликации хранилища или Средство управления репликацией хранилища хотя бы на одном сервере. Нет необходимости настраивать функцию Storage Replica, нужно лишь установить командлеты.

Настройте вашу среду

Всегда войдите в качестве пользователя домена, который является членом встроенной группы администраторов на всех серверах. Всегда запустите PowerShell или командную строку с повышенными привилегиями.

  1. Установите Windows Server на всех узлах сервера, используя параметры установки "Сервер с графическим интерфейсом" или "Командный сервер (Server Core)".

  2. Убедитесь, что параметры BIOS/UEFI для серверов имеют высокую производительность, например отключение состояния C, настройка скорости QPI, включение NUMA и установка самой высокой частоты памяти. Убедитесь, что для управления питанием в Windows Server выбрана схема высокой производительности. При необходимости перезагрузите компьютер.

  3. Добавьте сведения о сети и присоедините узлы к домену, а затем перезапустите их.

    Примечание.

    В этом руководстве предполагается, что у вас есть две пары серверов для использования в растянутом кластере. Сеть глобальной сети или локальной сети отделяет серверы и серверы принадлежат физическим или логическим сайтам.

  4. Подключите первый комплект общего корпуса хранения JBOD, общего VHDX, целевого объекта iSCSI или FC SAN к серверам в узле Redmond.

  5. Подключите второй набор хранилища к серверам на площадке Bellevue.

  6. Установите новейшее встроенное ПО для хранения данных и корпуса от поставщика, все необходимые драйверы, драйверы HBA и встроенное ПО для BIOS/UEFI на всех четырёх узлах. Перезапустите узлы по мере необходимости.

    Примечание.

    Для настройки общих хранилищ и сетевого оборудования обратитесь к документации поставщика оборудования.

На следующем шаге серверы будут добавлены и настроены с необходимыми ролями и функциями:

  1. В Диспетчер сервероввыберите Управление, а затем Добавить серверы.

  2. В окне Добавление серверов выберите серверы с помощью следующих методов:

    1. AD (серверы должны быть присоединены к домену)

    2. DNS- (имя компьютера или IP-адрес)

    3. импорт (из текстового файла)

  3. После выбора серверов импортируйте их с помощью кнопки "→", а затем нажмите кнопку ОК.

  4. В SR-SRV04 или удаленном компьютере управления выполните следующую команду в окне PowerShell с повышенными привилегиями:

    $Servers = 'SR-SRV01','SR-SRV02','SR-SRV03','SR-SRV04'

$Servers | foreach { Install-WindowsFeature -ComputerName $_ -Name Storage-Replica,Failover-Clustering,FS-FileServer -IncludeManagementTools -Restart }

Настройка отказоустойчивого кластера или кластера файлового сервера Hyper-V

После настройки узлов сервера следующим шагом будет создание отказоустойчивого кластера Hyper-V или кластера файлового сервера. Если узлы находятся в разных подсетях, необходимо создать IP-адрес дополнительного сайта с помощью зависимости OR. Дополнительные сведения см. в разделе Настройка IP-адресов и зависимостей для кластеров с несколькими подсетями — часть III.

Если вы создаете растянутый кластер с двумя узлами, перед продолжением необходимо добавить все хранилища. Это поведение по задумке в Windows Server 2016. Выполните следующую команду, чтобы добавить доступное хранилище:

Get-ClusterAvailableDisk -All | Add-ClusterDisk

При использовании тестового сервера без нагрузки ввода-вывода на указанный исходный том рекомендуется добавить рабочую нагрузку, так как Test-SRTopology не создает полезный отчет. Для изучения реальных показателей и рекомендуемых размеров журналов следует протестировать нагрузки, похожие на производственные.

Кроме того, скопируйте некоторые файлы в исходный том во время теста или скачайте и запустите diskspd для генерирования операций записи. Например, чтобы протестировать рабочую нагрузку с низкой интенсивностью записи ввода-вывода в течение 10 минут на томе D:, выполните данную команду:

diskspd -c1g -d600 -W5 -C5 -b4k -t2 -o2 -r -w5 -i100 D:\Test.dat

Нет возможности настроить учет географии сайта с помощью диспетчера отказоустойчивых кластеров в Windows Server 2016.

Примечание.

Настройте файловый ресурс-свидетель или облачный свидетель, чтобы обеспечить кворум в случае выхода из строя узла. Windows Server теперь включает в себя вариант для облачного свидетеля (на базе Azure). Этот параметр кворума можно выбрать вместо общей папки или дискового свидетеля.

Дополнительные сведения о конфигурации кворума см. в разделе Конфигурация свидетеля в руководстве по настройке и управлению кворумом в отказоустойчивом кластере Windows Server 2012. Более подробная информация о командлетах кворума кластера представлена в наборе модулей FailoverClusters.

Подсказка

Просмотрите рекомендации по конфигурации сети для кластера Hyper-V в Windows Server 2012, для оптимальной настройки сети кластера. Настройте сетевую конфигурацию кластера и Active Directory для более быстрой отработки отказоустойчивой работы сайта DNS. Для этого можно использовать программно-конфигурируемую сеть Hyper-V, распределенные виртуальные локальные сети, устройства для абстрагирования сети, сокращение срока жизни DNS и другие распространенные методы.

Вы также можете настроить отказоустойчивость ВМ, чтобы работа гостевых систем не приостанавливалась надолго во время сбоев узлов. Вместо этого они переключаются на новый репликационный источник в течение 10 секунд. Чтобы выполнить это действие, выполните команду (Get-Cluster).ResiliencyDefaultPeriod=10.

  1. В Диспетчер сервероввыберите Средства, а затем Диспетчер отказоустойчивой кластеризации.

  2. В области справа в разделе Действиявыберите Проверить конфигурацию, чтобы обеспечить возможность продолжения.

    Примечание.

    Из-за использования асимметричного хранилища следует ожидать ошибок хранения из-за валидации кластера.

  3. Создайте кластер Hyper-V, состоящий из 15 символов или менее, используя руководство по развертыванию кластера Hyper-V. Выполните шаги 7-10 на сайте Redmond, чтобы создать тестовую виртуальную машину только для обеспечения нормального функционирования кластера в пределах двух узлов, которые используют совместное хранилище в первом тестовом сайте.

  4. Добавьте один диск в кластерный CSV на узле Redmond. Щелкните правой кнопкой мыши исходный диск в узле диски раздела хранилища, а затем выберите Добавить в общие тома кластера.

  5. Командлет Test-SRTopology используется для определения соответствия требованиям для Storage Replica. Например, чтобы в течение 30 минут проверить два предложенных узла растянутого кластера, в каждом из которых имеются тома D: и E:, выполните следующие действия:

    1. Переместите все доступные хранилища на сервер SR-SRV01.

    2. В Диспетчер отказоустойчивого кластераразверните кластер, щелкните правой кнопкой мыши Роли, а затем выберите Создать пустую роль.

    3. Добавьте интернет-хранилище в пустую роль с именем New Role.

    4. Переместите все доступные хранилища на сервер SR-SRV03.

    5. Щелкните правой кнопкой мыши на Роли снова, а затем выберите Создать пустую роль.

    6. Переместите новую роль (2) в SR-SRV03.

    7. Добавьте интернет-хранилище в пустую роль с именем New Role (2) (Новая роль (2)).

    8. Оцените кластер, выполнив следующую команду:

      $params = @{
   SourceComputerName       = 'SR-SRV01'
   SourceVolumeName         = 'D:'
   SourceLogVolumeName      = 'E:'
   DestinationComputerName  = 'SR-SRV03'
   DestinationVolumeName    = 'D:'
   DestinationLogVolumeName = 'E:'
   DurationInMinutes        = 30
   ResultPath               = 'C:\Temp'
}
MD C:\Temp | Test-SRTopology @params

  6. Изучите отчет TestSrTopologyReport-<даты>.html, чтобы убедиться в соответствии требованиям реплики хранилища, и обратите внимание на прогноз времени начальной синхронизации и рекомендации по журналам.

    Скриншот отчета о репликации Storage Replica для отказоустойчивого кластера Hyper-V.

  7. Верните диски в доступное хранилище и удалите временные пустые роли.

  8. Удалите тестовую виртуальную машину. Добавьте настоящие тестовые виртуальные машины, необходимые для дальнейшей оценки, в предложенный исходный узел.

  9. Настройте осведомленность о расположении растянутого кластера так, чтобы серверы SR-SRV01 и SR-SRV02 были расположены в центре Redmond, а серверы SR-SRV03 и SR-SRV04 были расположены в центре Bellevue. Убедитесь, что Redmond является основным узлом, которому принадлежит исходное хранилище и виртуальные машины:

    New-ClusterFaultDomain -Name Redmond -Type Site -Description "Primary" -Location "Redmond Datacenter"

New-ClusterFaultDomain -Name Bellevue -Type Site -Description "Secondary" -Location "Bellevue Datacenter"

Set-ClusterFaultDomain -Name SR-SRV01 -Parent Redmond
Set-ClusterFaultDomain -Name SR-SRV02 -Parent Redmond
Set-ClusterFaultDomain -Name SR-SRV03 -Parent Bellevue
Set-ClusterFaultDomain -Name SR-SRV04 -Parent Bellevue

(Get-Cluster).PreferredSite="Redmond"

Управление репликацией растянутого кластера

Вы можете выполнить все действия на узлах кластера непосредственно или с компьютера удаленного управления, содержащего RSAT. Диспетчер отказоустойчивости кластеров также можно использовать для определения текущего источника и назначения репликации, а также их состояния. Управление репликацией растянутого кластера можно выполнять с помощью графического интерфейса или PowerShell.

Чтобы изменить источник и назначение репликации в растянутом кластере, используйте следующие методы:

  1. Чтобы переместить исходную репликацию между узлами на одном сайте, щелкните правой кнопкой мыши исходный CSV-файл, выберите Переместить хранилище, выберите Выбрать узел, а затем выберите узел на том же сайте. При использовании не-CSV хранилища для диска, на который назначена роль, необходимо переместить эту роль.

  2. Чтобы переместить исходную репликацию с одного сайта на другой, щелкните правой кнопкой мыши исходный CSV-файл, выберите Переместить хранилище, выберите Выбрать узел, а затем выберите узел на другом сайте. Если вы настроили предпочтительный сайт, можно использовать наиболее подходящий узел, чтобы всегда перемещать исходное хранилище на узел в предпочтительном сайте. При использовании не-CSV хранилища для диска, на который назначена роль, необходимо переместить эту роль.

  3. Чтобы выполнить плановую отработку отказа, переключите направление репликации с одного сайта на другой и закройте оба узла на одном сайте, используя диспетчер серверов или SConfig.

  4. Чтобы выполнить незапланированную отработку отказа и изменить направление репликации с одного сайта на другой, отключите питание обоих узлов на этом сайте.

    Примечание.

    В Windows Server 2016 может потребоваться использовать диспетчер отказоустойчивых кластеров или Move-ClusterGroup для перемещения конечных дисков обратно на другой сайт вручную после возвращения узлов в режим "в сети".

    Реплика хранилища отсоединяет целевые тома. Это сделано намеренно.

  5. Чтобы изменить размер журнала, щелкните правой кнопкой мыши диски исходного и целевого журналов, перейдите на вкладку "Журнал репликации ", а затем измените размеры на обоих дисках на соответствие.

  6. Чтобы добавить другую пару реплицированных дисков в имеющуюся группу репликации, необходимо убедиться, что в доступном хранилище есть по крайней мере один дополнительный диск. Затем можно щелкнуть исходный диск правой кнопкой мыши и выбрать пункт Add replication partnership (Добавить партнерство репликации).

    Примечание.

    Потребность в дополнительном "пустом" диске в доступном хранилище вызвана регрессией, а не намеренным изменением.

Чтобы удалить имеющуюся репликацию, сделайте следующее:

  • Щелкните правой кнопкой мыши исходный CSV-диск и выберите Репликация, а затем выберите Удалить. Примите предупреждение.

    При необходимости удалите хранилище из диска CSV, чтобы вернуть его в доступное хранилище для дальнейшего тестирования.

    Примечание.

    Возможно, потребуется использовать управление дисками или диспетчер сервера, чтобы добавить обратно обозначения дисков томам после их возвращения в доступное хранилище.

Чтобы оценить производительность репликации, можно использовать средство мониторинга производительности (perfmon.exe) как на исходных, так и на конечных узлах. Дополнительные сведения о мониторе производительности см. в статье Использование монитора производительности и Диалоговое окно добавления счетчиков.

На конечном узле сделайте следующее:

  1. Добавьте объект Статистика реплики хранилища со всеми счетчиками производительности для тома данных.

  2. Изучите результаты.

На исходном узле сделайте следующее:

  1. Добавьте объекты Статистика реплики хранилища и Статистика ввода-вывода раздела реплики хранилища со всеми счетчиками производительности для тома данных (последний доступен только с данными на текущем исходном сервере).

  2. Изучите результаты.

См. также