Высокая доступность SAP NetWeaver на виртуальных машинах Azure на SUSE Linux Enterprise Server для приложений SAP с несколькими SID

В этой статье описывается, как развернуть несколько систем SAP NetWeaver или S/4HANA с высокой доступностью (multi-SID) в кластере с двумя узлами на виртуальных машинах Azure с SUSE Linux Enterprise Server для SAP приложений. Кластеризация с несколькими SID позволяет запускать несколько экземпляров SAP с разными системными идентификаторами в одном кластере Pacemaker, оптимально используя ресурсы и поддерживая высокую доступность.

В примерах конфигураций, команд установки и т. д. три системы SAP NetWeaver 7.50 развертываются в одном двухузловом кластере с высоким уровнем доступности. Идентификаторы SID систем SAP:

NW1: номер экземпляра ASCS 00 и имя виртуального узла msnw1ascs; Номер экземпляра ERS 02 и имя виртуального узла msnw1ers.
NW2: номер экземпляра ASCS 10 и имя виртуального узла msnw2ascs; Номер экземпляра ERS 12 и имя виртуального узла msnw2ers.
NW3: номер экземпляра ASCS 20 и имя виртуального узла msnw3ascs; Номер 22 экземпляра ERS и имя виртуального узла msnw3ers.

Статья не охватывает уровень базы данных и развертывание NFS-ресурсов SAP. В примерах этой статьи мы используем виртуальные имена nw2-nfs для общих папок NW2 NFS и nw3-nfs для общих папок NW3 NFS, предполагая, что кластер NFS был развернут.

Прежде чем начать, сначала ознакомьтесь со следующими заметками и документами SAP:

Заметка SAP 1928533, которая имеет следующее:
- Список размеров Azure виртуальных машин, поддерживаемых для развертывания программного обеспечения SAP
- Важные сведения о емкости для размеров виртуальных машин Azure
- Поддерживаемые сочетания программного обеспечения SAP, операционной системы (ОС) и баз данных
- Требуемая версия ядра SAP для Windows и Linux в Microsoft Azure
Примечания SAP 2015553 необходимы для развертываний программного обеспечения SAP, поддерживаемых SAP, в Azure.
Примечания SAP 2205917 имеют рекомендуемые параметры ОС для SUSE Linux Enterprise Server для приложений SAP.
Заметка SAP 1944799 содержит SAP HANA рекомендации по SUSE Linux Enterprise Server для приложений SAP.
Примечание SAP 2178632 содержит подробные сведения обо всех метриках мониторинга, сообщаемых для SAP в Azure.
Примечание SAP 2191498 имеет необходимую версию агента узла SAP для Linux в Azure.
Примечание SAP 2243692 содержит сведения о лицензировании SAP в Linux в Azure.
примечание к SAP 1984787, содержащее общие сведения о SUSE Linux Enterprise Server 12;
Примечание SAP 1999351 содержит другие сведения об устранении неполадок для расширения расширенного мониторинга Azure для SAP.
вики-сайт сообщества SAP, содержащий все необходимые примечания к SAP для Linux;
Планирование и реализация виртуальных машин Azure для SAP на Linux.
развертывание Azure Virtual Machines для SAP в Linux.
Развертывание СУБД на виртуальных машинах Azure для SAP на Linux.
Руководства по лучшим практикам SUSE SAP HA: В руководствах содержатся все необходимые сведения для настройки высокой доступности для Netweaver и локальной репликации системы SAP HANA. Придерживайтесь этих общих рекомендаций. Они содержат намного более подробные сведения.
Заметки о выпуске по продукту SUSE Расширение высокой доступности 12 с пакетом обновления 3 (SP3).
Руководство по многосерверным кластерам SUSE для SLES 12 и SLES 15.
Приложения SAP от NetApp в Microsoft Azure с использованием Azure NetApp Files.

Overview

Виртуальные машины, участвующие в кластере, должны быть сконфигурированы для обработки всех ресурсов в случае отказа. Каждый идентификатор системы SAP может выполнять отработку отказа независимо в кластере с высокой доступностью с несколькими SID. При использовании ограждения SBD устройства SBD можно совместно использовать между несколькими кластерами.

Для достижения высокой доступности в SAP NetWeaver требуются высокодоступные ресурсы NFS. В этом примере предполагается, что общие папки SAP NFS размещаются на высокодоступном файловом сервере NFS, который может использовать несколько систем SAP. Или общие папки находятся на NFS томах Azure NetApp Files.

Схема кластера Pacemaker с подробными сведениями о двух кластерах с несколькими системными идентификаторами (SID).

Важно

Поддержка кластеризации с несколькими идентификаторами SAP в SAP ASCS/ERS с SUSE Linux в качестве гостевой операционной системы в виртуальных машинах Azure ограничена пятью (5) SAP SIDов в рамках одного кластера. Каждый новый идентификатор безопасности увеличивает сложность. Сочетание сервера репликации SAP Enqueue 1 и сервера репликации Enqueue 2 в одном кластере не поддерживается. Кластеризация с несколькими SID описывает установку нескольких инстанций SAP ASCS/ERS с разными идентификаторами SID в одном кластере Pacemaker. В настоящее время кластеризация с несколькими SID поддерживается только для ASCS/ERS.

Tip

Кластеризация SAP ASCS/ERS с помощью множественных SID является решением с повышенной сложностью. Это сложнее реализовать. Это также включает более высокие административные усилия при выполнении действий по обслуживанию (например, исправление ОС). Прежде чем начать непосредственную реализацию, тщательно спланируйте развертывание и все задействованные компоненты, такие как виртуальные машины, подключения NFS, виртуальные IP-адреса, конфигурации подсистемы балансировки нагрузки и т. д.

Сервер NFS, SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS и база данных SAP HANA используют имя виртуального узла и виртуальные IP-адреса. В Azure подсистема балансировки нагрузки требуется для использования виртуального IP-адреса. Мы рекомендуем использовать стандартный балансировщик нагрузки.

Представленная конфигурация для этого примера кластера с несколькими идентификаторами SID с тремя системами SAP показывает балансировщик нагрузки с:

Интерфейсные IP-адреса для ASCS: 10.3.1.14 (NW1), 10.3.1.16 (NW2) и 10.3.13 (NW3)
Внешние IP-адреса для ERS: 10.3.1.15 (NW1), 10.3.1.17 (NW2) и 10.3.1.19 (NW3)
Порт пробы 62000 для NW1 ASCS, 62010 для NW2 ASCS и 62020 для NW3 ASCS
Порт пробы 62102 для NW1 ASCS, 62112 для NW2 ASCS и 62122 для NW3 ASCS

Примечание

Если виртуальные машины без общедоступных IP-адресов добавляются в пул внутреннего стандартного балансировщика нагрузки Azure, они не имеют исходящего подключения к Интернету. Для включения маршрутизации на общедоступные конечные точки требуется дополнительная конфигурация. Дополнительные сведения о том, как достичь исходящего подключения, см. в статье Публикованная конечная точка для виртуальных машин с помощью Azure Standard Load Balancer в сценариях высокой доступности SAP.

Важно

Не включайте временные метки TCP на виртуальных машинах Azure, находящихся за балансировщиком нагрузки Azure. Включение меток времени TCP приводит к сбою проб работоспособности. Установите для параметра net.ipv4.tcp_timestamps значение 0. Дополнительные сведения см. в разделе проверки работоспособности балансировщика нагрузки.
Чтобы предотвратить изменение значения saptune, установленного вручную в net.ipv4.tcp_timestamps, изменившись с 0 на 1, необходимо обновить версию saptune до 3.1.1 или выше. Дополнительные сведения см. в разделе Saptune 3.1.1 . Необходимо ли обновить?.

Общие ресурсы SAP NFS

SAP NetWeaver требует общего хранилища для транспорта, каталога профилей и т. д. Для высокодоступной системы SAP важно иметь высокодоступные общие папки NFS. Вам нужно будет определиться с архитектурой для NFS-ресурсов SAP. Существует возможность развернуть кластер NFS с высокой доступностью на виртуальных машинах Azure под управлением SUSE Linux Enterprise Server, который может использоваться совместно для нескольких систем SAP.

Другим вариантом является размещение общих ресурсов на томах Azure NetApp Files NFS. Благодаря Azure NetApp Files вы получите встроенную высокую доступность для общих папок SAP NFS.

Развертывание первой системы SAP в кластере

На основе архитектуры общих папок SAP NFS разверните первую систему SAP в кластере, следуя соответствующей документации.

Если используется высокодоступный сервер NFS, следуйте руководству по высокой доступности SAP NetWeaver на виртуальных машинах Azure с SUSE Linux Enterprise Server для приложений SAP.
Если вы используете тома Azure NetApp Files NFS, следуйте руководству "Высокая доступность для SAP NetWeaver на виртуальных машинах Azure на SUSE Linux Enterprise Server с Azure NetApp Files для приложений SAP".

В приведенных статьях описаны шаги по подготовке необходимых инфраструктур, сборке кластера и подготовке ОС для запуска приложения SAP.

Tip

Всегда проверяйте функциональность отработки отказа кластера после развертывания первой системы и перед добавлением дополнительных SAP SIDs в кластер. Тестирование имеет решающее значение, чтобы вы знали, что функциональные возможности кластера работают перед добавлением сложности дополнительных систем SAP в кластер.

Развертывание нескольких систем SAP в кластере

В этом примере предполагается, что система NW1 уже развернута в кластере. Мы также демонстрируем развертывание систем SAP NW2 и NW3 в кластере.

Следующие элементы имеют один из следующих префиксов:

[A] — применимо ко всем узлам
[1] — применимо только к узлу 1
[2] — применимо только к узлу 2

Prerequisites

Важно

Прежде чем следовать инструкциям по развертыванию нескольких систем SAP в кластере, выполните инструкции по развертыванию первой системы SAP в кластере, так как некоторые шаги необходимо выполнить только во время первого развертывания системы.

В этой документации предполагается, что:

Кластер Pacemaker уже настроен и запущен.
Хотя бы одна система SAP (экземпляр ASCS/ ERS) уже развернута и запущена в кластере.
Функция отказоустойчивости кластера проверяется.
Общие папки NFS для всех систем SAP развертываются.

Подготовка к установке SAP NetWeaver

Добавьте конфигурацию для недавно развернутой системы (NW2 и NW3) в существующий Azure Load Balancer, следуя инструкциям configure Azure Load Balancer вручную через портал Azure. Настройте IP-адреса, порты проб работоспособности, правила балансировки нагрузки для конфигурации.

[A] Настройте разрешение имен для других систем SAP. Можно либо использовать DNS-сервер, либо изменять /etc/hosts на всех узлах. В этом примере показано, как использовать файл /etc/hosts. Адаптируйте IP-адреса и имена узлов к вашей среде.

sudo vi /etc/hosts

# IP address of the load balancer frontend configuration for NW2 ASCS
10.3.1.16 msnw2ascs

# IP address of the load balancer frontend configuration for NW3 ASCS
10.3.1.13 msnw3ascs

# IP address of the load balancer frontend configuration for NW2 ERS
10.3.1.17 msnw2ers

# IP address of the load balancer frontend configuration for NW3 ERS
10.3.1.19 msnw3ers

# IP address for virtual host name for the NFS server for NW2
10.3.1.31 nw2-nfs

# IP address for virtual host name for the NFS server for NW3
10.3.1.32 nw3-nfs

[A] Создайте общие каталоги для систем SAP NW2 и NW3 , которые развертываются в кластере.

sudo mkdir -p /sapmnt/NW2
sudo mkdir -p /usr/sap/NW2/SYS
sudo mkdir -p /usr/sap/NW2/ASCS10
sudo mkdir -p /usr/sap/NW2/ERS12
sudo mkdir -p /sapmnt/NW3
sudo mkdir -p /usr/sap/NW3/SYS
sudo mkdir -p /usr/sap/NW3/ASCS20
sudo mkdir -p /usr/sap/NW3/ERS22

sudo chattr +i /sapmnt/NW2
sudo chattr +i /usr/sap/NW2/SYS
sudo chattr +i /usr/sap/NW2/ASCS10
sudo chattr +i /usr/sap/NW2/ERS12
sudo chattr +i /sapmnt/NW3
sudo chattr +i /usr/sap/NW3/SYS
sudo chattr +i /usr/sap/NW3/ASCS20
sudo chattr +i /usr/sap/NW3/ERS22

[A] Настройте autofs для монтирования файловых систем /sapmnt/SID и /usr/sap/SID/SYS для других SAP-систем, развертываемых в кластере. В этом примере NW2 и NW3.

Обновите файл /etc/auto.direct с файловыми системами для других систем SAP, которые развертываются в кластере.
- При использовании файлового сервера NFS следуйте инструкциям на странице обеспечения высокой доступности виртуальных машин Azure для SAP NetWeaver на SLES
- При использовании Azure NetApp Files следуйте инструкциям на странице Azure виртуальные машины с высокой доступностью для SAP NW на SLES с Azure NetApp Files
Чтобы подключить только что добавленные общие ресурсы, необходимо перезапустить autofs службу.

Установка ASCS / ERS

Создайте ресурсы кластера для виртуальных IP-адреса и проверки работоспособности экземпляра ASCS для другой системы SAP, развертываемой в кластере. Показан пример для NW2 и NW3 ASCS с высокодоступным сервером NFS.
Важно

Недавнее тестирование показало ситуации, когда netcat перестает отвечать на запросы из-за невыполненной работы и его ограничения обработки только одного подключения. Ресурс netcat перестает прослушивать запросы подсистемы балансировки нагрузки Azure, а плавающий IP-адрес становится недоступным. Для существующих кластеров Pacemaker мы рекомендовали в прошлом заменить netcat на socat. В настоящее время мы рекомендуем использовать azure-lb агент ресурсов, который входит в состав агентов ресурсов пакета, с указанными ниже требованиями к версии пакета:
- Минимальная версия для SLES 12 SP4/SP5 должна быть не ниже resource-agents-4.3.018.a7fb5035-3.30.1.
- Минимальная версия для SLES 15/15 SP1 — resource-agents-4.3.0184.6ee15eb2-4.13.1.
Для изменения требуется краткое время простоя. Если конфигурация уже была изменена на использование socat, как описано в Укрепление обнаружения в Azure Load-Balancer, не требуется немедленно переключаться на ресурсный агент azure-lb.
```
sudo crm configure primitive fs_NW2_ASCS Filesystem device='nw2-nfs:/NW2/ASCS' directory='/usr/sap/NW2/ASCS10' fstype='nfs4' \
   op start timeout=60s interval=0 \
   op stop timeout=60s interval=0 \
   op monitor interval=20s timeout=40s

sudo crm configure primitive vip_NW2_ASCS IPaddr2 \
    params ip=10.3.1.16 \
    op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW2_ASCS azure-lb port=62010 \
    op monitor timeout=20s interval=10

sudo crm configure group g-NW2_ASCS fs_NW2_ASCS nc_NW2_ASCS vip_NW2_ASCS \
     meta resource-stickiness=3000

sudo crm configure primitive fs_NW3_ASCS Filesystem device='nw3-nfs:/NW3/ASCS' directory='/usr/sap/NW3/ASCS20' fstype='nfs4' \
    op start timeout=60s interval=0 \
    op stop timeout=60s interval=0 \
    op monitor interval=20s timeout=40s

sudo crm configure primitive vip_NW3_ASCS IPaddr2 \
   params ip=10.3.1.13 \
   op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW3_ASCS azure-lb port=62020 \
   op monitor timeout=20s interval=10

sudo crm configure group g-NW3_ASCS fs_NW3_ASCS nc_NW3_ASCS vip_NW3_ASCS \
    meta resource-stickiness=3000
```
При создании ресурсов они могут быть назначены разным ресурсам кластера. Когда вы их группируете, они переносятся на один из узлов кластера. Убедитесь, что состояние кластера в порядке и все ресурсы запущены. Неважно, на каком узле выполняются ресурсы.
[1] Установите SAP NetWeaver ASCS.

Установите SAP NetWeaver ASCS в качестве корня, используя имя виртуального узла, которое сопоставляется с IP-адресом конфигурации внешнего интерфейса подсистемы балансировки нагрузки для ASCS. Например, для системы NW2 имя виртуального узла — msnw2ascs, 10.3.1.16 и номер экземпляра, используемый для проверки подсистемы балансировки нагрузки, например 10. для системы NW3 имя виртуального узла — msnw3ascs, 10.3.1.13 и номер экземпляра, используемый для проверки подсистемы балансировки нагрузки, например 20.

Чтобы разрешить непривилегированному пользователю подключаться к SAPinst, можно использовать параметр SAPINST_REMOTE_ACCESS_USER. Вы можете использовать параметр SAPINST_USE_HOSTNAME для установки SAP с помощью имени виртуального узла.
```
sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
```
Если установка не удается создать вложенную папку в /usr/sap/SID/ASCSInstance#, попробуйте установить владельца sidadm и группу sapsys для ASCSInstance# и повторите попытку.
[1] Создайте виртуальные IP-адреса и ресурсы кластера проверки доступности для экземпляра ERS другой системы SAP, которую вы развертываете в кластере. Показан пример для NW2 и NW3 ERS с высокодоступным сервером NFS.
```
sudo crm configure primitive fs_NW2_ERS Filesystem device='nw2-nfs:/NW2/ASCSERS' directory='/usr/sap/NW2/ERS12' fstype='nfs4' \
 op start timeout=60s interval=0 \
 op stop timeout=60s interval=0 \
 op monitor interval=20s timeout=40s

sudo crm configure primitive vip_NW2_ERS IPaddr2 \
 params ip=10.3.1.17 \
 op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW2_ERS azure-lb port=62112 \
 op monitor timeout=20s interval=10

sudo crm configure group g-NW2_ERS fs_NW2_ERS nc_NW2_ERS vip_NW2_ERS

sudo crm configure primitive fs_NW3_ERS Filesystem device='nw3-nfs:/NW3/ASCSERS' directory='/usr/sap/NW3/ERS22' fstype='nfs4' \
 op start timeout=60s interval=0 \
 op stop timeout=60s interval=0 \
 op monitor interval=20s timeout=40s

sudo crm configure primitive vip_NW3_ERS IPaddr2 \
 params ip=10.3.1.19 \
 op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW3_ERS azure-lb port=62122 \
 op monitor timeout=20s interval=10

sudo crm configure group g-NW3_ERS fs_NW3_ERS nc_NW3_ERS vip_NW3_ERS
```
При создании ресурсов они могут быть назначены разным узлам кластера. Когда вы их группируете, они переносятся на один из узлов кластера. Убедитесь, что состояние кластера в порядке и все ресурсы запущены.

Затем убедитесь, что ресурсы созданной группы ERS выполняются на узле кластера напротив узла кластера, где установлен экземпляр ASCS для той же системы SAP. Например, если NW2 ASCS был установлен на slesmsscl1, убедитесь, что группа NW2 ERS работает на slesmsscl2. Чтобы перенести группу NW2 ERS на slesmsscl2, выполните следующую команду:
```
crm resource migrate g-NW2_ERS slesmsscl2 force
```
[2] Установите SAP NetWeaver ERS.

Установите SAP NetWeaver ERS в качестве корневого каталога на другом узле, используя имя виртуального узла, которое сопоставляется с IP-адресом конфигурации внешнего интерфейса подсистемы балансировки нагрузки для ERS. Например, для системы NW2 имя виртуального узла — msnw2ers, 10.3.1.17 и номер экземпляра, используемый для проверки подсистемы балансировки нагрузки, например 12. Для системы NW3 имя виртуального узла msnw3ers, 10.3.1.19 и номер экземпляра, используемый для проверки подсистемы балансировки нагрузки, например 22.

Чтобы разрешить непривилегированному пользователю подключаться к SAPinst, можно использовать параметр SAPINST_REMOTE_ACCESS_USER. Вы можете использовать параметр SAPINST_USE_HOSTNAME для установки SAP с помощью имени виртуального узла.
```
sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
```
Примечание

Используйте SWPM SP 20 PL 05 или более поздней версии. Более низкие версии не задают разрешения правильно, что приводит к сбою установки.

Если установка не может создать вложенную папку в /usr/sap/NW2/ERSInstance#, попробуйте установить владельца sidadm и группу sapsys для папки ERSInstance# и повторите попытку.

Если необходимо перенести группу ERS новой развернутой системы SAP на другой узел кластера, не забудьте удалить ограничение расположения для группы ERS. Ограничение можно удалить, выполнив следующую команду (пример приведен для систем SAP NW2 и NW3).
```
crm resource unmigrate g-NW2_ERS
crm resource unmigrate g-NW3_ERS
```

[1] Адаптация профилей экземпляров ASCS/SCS и ERS для одной или нескольких недавно установленных систем SAP. Показан пример для NW2. Профили ASCS/SCS и ERS нужно адаптировать для всех экземпляров SAP, добавленных в кластер.

Профиль ASCS/SCS

sudo vi /sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines
service/halib = $(DIR_EXECUTABLE)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = TRUE

Убедитесь, что для ENSA1 и ENSA2 параметры ОС keepalive заданы так, как указано в примечании для SAP 1410736.

Профиль ERS

sudo vi /sapmnt/NW2/profile/NW2_ERS12_msnw2ers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines
service/halib = $(DIR_EXECUTABLE)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# remove Autostart from ERS profile
# Autostart = 1

[A] Настройте пользователей SAP для недавно развернутой системы SAP в этом примере NW2 и NW3.
```
# Add sidadm to the haclient group
sudo usermod -aG haclient nw2adm
sudo usermod -aG haclient nw3adm
```

Добавьте службы ASCS и ERS SAP для только что установленной системы SAP в sapservice файл. Показан пример для систем SAP NW2 и NW3.

Добавьте запись службы ASCS во второй узел и скопируйте запись службы ERS в первый узел. Выполните команды для каждой системы SAP на узле, где был установлен экземпляр ASCS для системы SAP.

# Execute the following commands on slesmsscl1,assuming the NW2 ASCS instance was installed on slesmsscl1
cat /usr/sap/sapservices | grep ASCS10 | sudo ssh slesmsscl2 "cat >>/usr/sap/sapservices"
sudo ssh slesmsscl2 "cat /usr/sap/sapservices" | grep ERS12 | sudo tee -a /usr/sap/sapservices

# Execute the following commands on slesmsscl2, assuming the NW3 ASCS instance was installed on slesmsscl2
cat /usr/sap/sapservices | grep ASCS20 | sudo ssh slesmsscl1 "cat >>/usr/sap/sapservices"
sudo ssh slesmsscl1 "cat /usr/sap/sapservices" | grep ERS22 | sudo tee -a /usr/sap/sapservices

[A] Отключение systemd служб сервера ASCS и ERS SAP. Этот шаг применим только в том случае, если systemd управляет платформой запуска SAP в соответствии с заметкой SAP 3115048.

Примечание

При управлении экземплярами SAP, такими как SAP ASCS и SAP ERS, используя конфигурацию кластера SLES, необходимо внести другие изменения, чтобы интегрировать кластер с собственной системой запуска SAP на основе systemd; чтобы управляющие процедуры не компрометировали стабильность кластера. После установки или переключения платформы запуска SAP на настройку с поддержкой systemd, как указано в SAP Note 3115048, следует отключить systemd службы для экземпляров SAP ASCS и ERS.
```
# Stop all ASCS and ERS instances using <sid>adm
sapcontrol -nr 10 -function Stop
sapcontrol -nr 10 -function StopService

sapcontrol -nr 12 -function Stop
sapcontrol -nr 12 -function StopService

# Execute below command on VM where you have performed ASCS instance installation for each SAP system (e.g. slesmsscl1)
sudo systemctl disable SAPNW2_10
sudo systemctl disable SAPNW3_20
# Execute below command on VM where you have performed ERS instance installation for each SAP system (e.g. slesmsscl2)
sudo systemctl disable SAPNW2_12
sudo systemctl disable SAPNW2_22
```

[1] Создайте кластерные ресурсы SAP для вновь установленной системы SAP.

В зависимости от того, выполняется ли система ENSA1 или ENSA2, выберите соответствующую вкладку, чтобы определить ресурсы для систем NW2 и NW3 . SAP представила поддержку ENSA2, включая репликацию, в SAP NetWeaver версии 7.52. Начиная с ABAP Platform 1809, ENSA2 устанавливается по умолчанию. Сведения о поддержке ENSA2 см. в примечании SAP 2630416.

ENSA1
ENSA2

sudo crm configure property maintenance-mode="true"

sudo crm configure primitive rsc_sap_NW2_ASCS10 SAPInstance \
  operations \$id=rsc_sap_NW2_ASCS10-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

sudo crm configure primitive rsc_sap_NW2_ERS12 SAPInstance \
  operations \$id=rsc_sap_NW2_ERS12-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true \
  meta priority=1000

sudo crm configure modgroup g-NW2_ASCS add rsc_sap_NW2_ASCS10
sudo crm configure modgroup g-NW2_ERS add rsc_sap_NW2_ERS12

sudo crm configure colocation col_sap_NW2_no_both -5000: g-NW2_ERS g-NW2_ASCS
sudo crm configure location loc_sap_NW2_failover_to_ers rsc_sap_NW2_ASCS10 rule 2000: runs_ers_NW2 eq 1
sudo crm configure order ord_sap_NW2_first_start_ascs Optional: rsc_sap_NW2_ASCS10:start rsc_sap_NW2_ERS12:stop symmetrical=false

sudo crm configure primitive rsc_sap_NW3_ASCS20 SAPInstance \
  operations \$id=rsc_sap_NW3_ASCS20-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ASCS10_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

sudo crm configure primitive rsc_sap_NW3_ERS22 SAPInstance \
  operations \$id=rsc_sap_NW3_ERS22-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW3_ERS22_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true \
  meta priority=1000

sudo crm configure modgroup g-NW3_ASCS add rsc_sap_NW3_ASCS20
sudo crm configure modgroup g-NW3_ERS add rsc_sap_NW3_ERS22

sudo crm configure colocation col_sap_NW3_no_both -5000: g-NW3_ERS g-NW3_ASCS
sudo crm configure location loc_sap_NW3_failover_to_ers rsc_sap_NW3_ASCS10 rule 2000: runs_ers_NW3 eq 1
sudo crm configure order ord_sap_NW3_first_start_ascs Optional: rsc_sap_NW3_ASCS20:start rsc_sap_NW3_ERS22:stop symmetrical=false
sudo crm configure property maintenance-mode="false"

sudo crm configure property maintenance-mode="true"

sudo crm configure primitive rsc_sap_NW2_ASCS10 SAPInstance \
  operations \$id=rsc_sap_NW2_ASCS10-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000

sudo crm configure primitive rsc_sap_NW2_ERS12 SAPInstance \
  operations \$id=rsc_sap_NW2_ERS12-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true

sudo crm configure modgroup g-NW2_ASCS add rsc_sap_NW2_ASCS10
sudo crm configure modgroup g-NW2_ERS add rsc_sap_NW2_ERS12

sudo crm configure colocation col_sap_NW2_no_both -5000: g-NW2_ERS g-NW2_ASCS
sudo crm configure order ord_sap_NW2_first_start_ascs Optional: rsc_sap_NW2_ASCS10:start rsc_sap_NW2_ERS12:stop symmetrical=false

sudo crm configure primitive rsc_sap_NW3_ASCS20 SAPInstance \
  operations \$id=rsc_sap_NW3_ASCS20-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ASCS10_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000

sudo crm configure primitive rsc_sap_NW3_ERS22 SAPInstance \
  operations \$id=rsc_sap_NW3_ERS22-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW3_ERS22_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true

sudo crm configure modgroup g-NW3_ASCS add rsc_sap_NW3_ASCS20
sudo crm configure modgroup g-NW3_ERS add rsc_sap_NW3_ERS22

sudo crm configure colocation col_sap_NW3_no_both -5000: g-NW3_ERS g-NW3_ASCS
sudo crm configure order ord_sap_NW3_first_start_ascs Optional: rsc_sap_NW3_ASCS20:start rsc_sap_NW3_ERS22:stop symmetrical=false
sudo crm configure property maintenance-mode="false"

Если вы обновляете более старую версию и переходите на сервер 2, см. заметку SAP 2641019.

Убедитесь в том, что кластер находится в работоспособном состоянии и что запущены все ресурсы. Неважно, на каком узле выполняются ресурсы.

В следующем примере показано состояние ресурсов кластера после добавления в кластер систем SAP NW2 и NW3 .

sudo crm_mon -r

# Online: [ slesmsscl1 slesmsscl2 ]

#Full list of resources:

#stonith-sbd     (stonith:external/sbd): Started slesmsscl1
# Resource Group: g-NW1_ASCS
#     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
# Resource Group: g-NW1_ERS
#     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW2_ASCS
#     fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW2_ERS
#     fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
# Resource Group: g-NW3_ASCS
#     fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW3_ERS
#     fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl2

На следующем рисунке показано, как будут выглядеть ресурсы в High Availability Web Konsole (HAWK), с развернутыми ресурсами для системы SAP NW2.

Примечание

Кластер SAP ASCS/ERS можно расширить с 2 узла до 3-узла с 3-м узлом в качестве свободного узла для отработки отказа служб ASCS или ERS.

Настройка 3 узла может использоваться только для систем SAP с помощью SAP Enqueue Replication Server 2 (ENSA2).
Свойство priority-fencing-delay кластера не должно использоваться в кластере с 3 узлами.

Перейдите к установке SAP

Завершите установку SAP, выполнив:

Подготовка серверов приложений SAP NetWeaver
Установка экземпляра СУБД
Установка основного сервера приложений SAP
Установка дополнительных экземпляров приложений SAP

Тестирование настройки кластера с несколькими SID

Следующие тесты представляют собой подмножество тестовых вариантов в руководствах по рекомендациям SUSE. Они включены для удобства. Полный список тестов кластера см. в следующей документации:

Если используется высокодоступный сервер NFS, следуйте руководству по высокой доступности SAP NetWeaver на виртуальных машинах Azure с SUSE Linux Enterprise Server для приложений SAP.
Если вы используете тома Azure NetApp Files NFS, следуйте рекомендациям по высокой доступности SAP NetWeaver на виртуальных машинах Azure с использованием SUSE Linux Enterprise Server и Azure NetApp Files для приложений SAP

Всегда читайте руководства по рекомендациям SUSE и выполняйте все тесты по мере необходимости. Представленные тесты представлены в двухузловом кластере с несколькими SID и тремя установленными системами SAP.

Тестирование HAGetFailoverConfig и HACheckFailoverConfig

Выполните следующие команды <sapsid>adm на узле, где в данный момент выполняется экземпляр ASCS. Если в имени узла есть дефисы, команды могут завершиться ошибкой сбоем: недостаточно памяти (известная проблема). Компания SUSE намерена исправить это в пакете sap-suse-cluster-connector.

 slesmsscl1:nw1adm 57> sapcontrol -nr 00 -function HAGetFailoverConfig

# 10.12.2019 21:33:08
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
# HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode: slesmsscl1
# HANodes: slesmsscl1, slesmsscl2

slesmsscl1:nw1adm 53> sapcontrol -nr 00 -function HACheckFailoverConfig

# 19.12.2019 21:19:58
# HACheckFailoverConfig
# OK
# state, category, description, comment
# SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

slesmsscl2:nw2adm 35> sapcontrol -nr 10 -function HAGetFailoverConfig

# 10.12.2019 21:37:09
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
# HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode: slesmsscl2
# HANodes: slesmsscl2, slesmsscl1

slesmsscl2:nw2adm 52> sapcontrol -nr 10 -function HACheckFailoverConfig

# 19.12.2019 21:17:39
# HACheckFailoverConfig
# OK
# state, category, description, comment
# SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

slesmsscl1:nw3adm 49> sapcontrol -nr 20 -function HAGetFailoverConfig

# 10.12.2019 23:35:36
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
# HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode: slesmsscl1
# HANodes: slesmsscl1, slesmsscl2

slesmsscl1:nw3adm 52> sapcontrol -nr 20 -function HACheckFailoverConfig

# 19.12.2019 21:10:42
# HACheckFailoverConfig
# OK
# state, category, description, comment
# SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

Выполните перенос экземпляра ASCS вручную. В примере показан перенос экземпляра ASCS для системы SAP NW2.

Состояние ресурса перед началом теста:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Выполните следующие команды от имени пользователя root, чтобы перенести экземпляр ASCS NW2.

 crm resource migrate rsc_sap_NW2_ASCS10 force
 # INFO: Move constraint created for rsc_sap_NW2_ASCS10

 crm resource unmigrate rsc_sap_NW2_ASCS10
 # INFO: Removed migration constraints for rsc_sap_NW2_ASCS10

 # Remove failed actions for the ERS that occurred as part of the migration
 crm resource cleanup rsc_sap_NW2_ERS12

Состояние ресурсов после теста:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Тест HAFailoverToNode. В приведенном здесь тесте показан перенос экземпляра ASCS для системы SAP NW2.

Состояние ресурсов перед запуском теста:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Выполните следующие команды как nw2adm, чтобы перенести экземпляр NW2 ASCS.

slesmsscl2:nw2adm 53> sapcontrol -nr 10 -host msnw2ascs -user nw2adm password -function HAFailoverToNode ""

# run as root
# Remove failed actions for the ERS that occurred as part of the migration
crm resource cleanup rsc_sap_NW2_ERS12

# Remove migration constraints
crm resource clear rsc_sap_NW2_ASCS10

#INFO: Removed migration constraints for rsc_sap_NW2_ASCS10

Состояние ресурсов после теста:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Имитация сбоя узла

Состояние ресурсов перед запуском теста:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Выполните следующую команду от имени пользователя root на узле компьютера, где запущен по крайней мере один экземпляр ASCS. В этом примере мы выполнили команду на slesmsscl2, где запущены экземпляры ASCS для NW1 и NW3.

slesmsscl2:~ # echo b > /proc/sysrq-trigger

Если вы используете SBD, Pacemaker не должен автоматически запускаться на вышедшем из строя узле. Состояние после повторного запуска узла должно выглядеть так:

 Online: [ slesmsscl1 ]
 OFFLINE: [ slesmsscl2 ]
 Full list of resources:

 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

 Failed Resource Actions:
 * rsc_sap_NW1_ERS02_monitor_11000 on slesmsscl1 'not running' (7): call=125, status=complete, exitreason='',
     last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms
 * rsc_sap_NW2_ERS12_monitor_11000 on slesmsscl1 'not running' (7): call=126, status=complete, exitreason='',
     last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms
 * rsc_sap_NW3_ERS22_monitor_11000 on slesmsscl1 'not running' (7): call=127, status=complete, exitreason='',
     last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms

Выполните следующие команды, чтобы запустить Pacemaker на отключенном узле, очистить сообщения SBD и очистить ресурсы, в которых произошел сбой.

# run as root
# list the SBD device(s)
cat /etc/sysconfig/sbd | grep SBD_DEVICE=

# output is like:
# SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3"

sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message slesmsscl2 clear

systemctl start pacemaker
crm resource cleanup rsc_sap_NW1_ERS02
crm resource cleanup rsc_sap_NW2_ERS12
crm resource cleanup rsc_sap_NW3_ERS22

Состояние ресурсов после теста:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl2

Дальнейшие шаги

Планирование и реализация виртуальных машин Azure для SAP
развертывание Azure Virtual Machines для SAP
развертывание СУБД Azure Virtual Machines для SAP
Сведения о создании высокого уровня доступности и планировании аварийного восстановления SAP HANA на виртуальных машинах Azure см. в статье Доступность SAP HANA на Azure Virtual Machines (виртуальных машинах)

Обратная связь

Были ли сведения на этой странице полезными?

Last updated on 2026-03-10

Высокая доступность SAP NetWeaver на виртуальных машинах Azure на SUSE Linux Enterprise Server для приложений SAP с несколькими SID

Overview

Общие ресурсы SAP NFS

Развертывание первой системы SAP в кластере

Развертывание нескольких систем SAP в кластере

Prerequisites

Подготовка к установке SAP NetWeaver

Установка ASCS / ERS

Перейдите к установке SAP

Тестирование настройки кластера с несколькими SID

Дальнейшие шаги

Обратная связь

Дополнительные ресурсы