Slurm

CycleCloud Slurm Cluster Project README

Slurm — это высококонфигурируемый диспетчер рабочих нагрузок с открытым исходным кодом. Дополнительные сведения см. в обзоре сайта проекта Slurm.

[cluster custom-slurm]

[[node master]]
    ImageName = cycle.image.centos7
    MachineType = Standard_A4 # 8 cores

    [[[cluster-init cyclecloud/slurm:default]]]
    [[[cluster-init cyclecloud/slurm:master]]]
    [[[configuration]]]
    run_list = role[slurm_master_role]

[[nodearray execute]]
    ImageName = cycle.image.centos7
    MachineType = Standard_A1  # 1 core

    [[[cluster-init cyclecloud/slurm:default]]]
    [[[cluster-init cyclecloud/slurm:execute]]]
    [[[configuration]]]
    run_list = role[slurm_master_role]
    slurm.autoscale = true
    # Set to true if nodes are used for tightly-coupled multi-node jobs
    slurm.hpc = true
    slurm.default_partition = true

[cluster custom-slurm]

[[node scheduler]]
    ImageName = cycle.image.centos7
    MachineType = Standard_A4 # 8 cores

    [[[cluster-init cyclecloud/slurm:default]]]
    [[[cluster-init cyclecloud/slurm:scheduler]]]
    [[[configuration]]]
    run_list = role[slurm_scheduler_role]

[[nodearray execute]]
    ImageName = cycle.image.centos7
    MachineType = Standard_A1  # 1 core

    [[[cluster-init cyclecloud/slurm:default]]]
    [[[cluster-init cyclecloud/slurm:execute]]]
    [[[configuration]]]
    run_list = role[slurm_scheduler_role]
    slurm.autoscale = true
    # Set to true if nodes are used for tightly-coupled multi-node jobs
    slurm.hpc = true
    slurm.default_partition = true

Изменение существующих кластеров Slurm

Кластеры Slurm, работающие в CycleCloud версии 7.8 и более поздних версий, используют обновленную версию API автомасштабирования, которая позволяет кластерам использовать несколько массивов узлов и секций. Чтобы эта функция работала в Slurm, CycleCloud предварительно заполняет задействованные узлы в кластере. В связи с этой предварительной подготовкой, вы должны выполнить команду на узле планировщика Slurm после того, как внесены изменения в кластер, такие как изменение ограничений автомасштабирования или типов виртуальных машин.

Внесение изменений в кластер

Кластер Slurm, развернутый в CycleCloud, содержит скрипт, который упрощает изменения. После внесения изменений в кластер выполните следующую команду в качестве корневого (например, выполнив sudo -i) на узле планировщика Slurm, чтобы перестроить slurm.conf файл и обновить узлы в кластере:

/opt/cycle/slurm/cyclecloud_slurm.sh remove_nodes
/opt/cycle/slurm/cyclecloud_slurm.sh scale

/opt/cycle/slurm/cyclecloud_slurm.sh apply_changes

/opt/cycle/slurm/cyclecloud_slurm.sh remove_nodes
/opt/cycle/slurm/cyclecloud_slurm.sh scale

Создание дополнительных разделов

Шаблон по умолчанию, который поставляется с Azure CycleCloud, содержит две секции (hpc и htc) и можно определить настраиваемые массивы узлов, которые сопоставляют непосредственно с секциями Slurm. Например, чтобы создать секцию GPU, добавьте следующий раздел в шаблон кластера:

    [[nodearray gpu]]
    MachineType = $GPUMachineType
    ImageName = $GPUImageName
    MaxCoreCount = $MaxGPUExecuteCoreCount
    Interruptible = $GPUUseLowPrio
    AdditionalClusterInitSpecs = $ExecuteClusterInitSpecs

        [[[configuration]]]
        slurm.autoscale = true
        # Set to true if nodes are used for tightly-coupled multi-node jobs
        slurm.hpc = false

        [[[cluster-init cyclecloud/slurm:execute:2.0.1]]]
        [[[network-interface eth0]]]
        AssociatePublicIpAddress = $ExecuteNodesPublic

Параметры памяти

CycleCloud автоматически задает объем доступной памяти для Slurm для планирования. Так как доступная память может немного отличаться из-за параметров ядра Linux, а ОС и виртуальная машина используют небольшой объем памяти, CycleCloud автоматически уменьшает значение памяти в конфигурации Slurm. По умолчанию CycleCloud резервирует 5% от сообщенной доступной памяти на виртуальной машине, но вы можете переопределить это значение в шаблоне кластера, установив slurm.dampen_memory на процент памяти, который нужно удерживать. Например, чтобы сохранить 20% памяти виртуальной машины:

    slurm.dampen_memory=20

Отключение автомасштабирования для определенных узлов или секций

Хотя встроенная функция CycleCloud "KeepAlive" в настоящее время не работает для кластеров Slurm, вы можете отключить автомасштабирование для работающего кластера Slurm, изменив файл slurm.conf напрямую. Можно исключить отдельные узлы или целые секции из автомасштабирования.

Исключение узла

Чтобы исключить один или несколько узлов из автомасштабирования, добавьте SuspendExcNodes=<listofnodes> в файл конфигурации Slurm. Например, чтобы исключить узлы 1 и 2 из hpc раздела, добавьте следующий код /sched/slurm.conf:

SuspendExcNodes=hpc-pg0-[1-2]

Затем перезапустите slurmctld службу, чтобы новая конфигурация вступила в силу.

Исключение раздела

Чтобы исключить все секции из автомасштабирования, используйте аналогичный процесс исключения узлов. Чтобы исключить всю hpc секцию, добавьте следующий код /sched/slurm.conf:

SuspendExcParts=hpc

Затем перезапустите slurmctld службу.

Устранение неполадок

Конфликты UID для пользователей Slurm и munge

По умолчанию этот проект использует uiD и GID 11100 для пользователя Slurm и 11101 для пользователя munge. Если эти значения по умолчанию вызывают конфликт с другим пользователем или группой, их можно переопределить.

Чтобы переопределить значения UID и GID, нажмите кнопку редактирования для обоих scheduler узлов:

И execute nodearray:

Добавьте в раздел Configuration следующие атрибуты:

    slurm.user.name = slurm
    slurm.user.uid = 11100
    slurm.user.gid = 11100
    munge.user.name = munge
    munge.user.uid = 11101
    munge.user.gid = 11101

Автомасштабирование

CycleCloud использует функцию эластичных вычислений Slurm. Чтобы отладить проблемы автомасштабирования, просмотрите несколько журналов на узле планировщика. Во-первых, убедитесь, что вызовы режима энергосбережения выполняются путем проверки /var/log/slurmctld/slurmctld.log. Вы должны увидеть такие строки:

[2019-12-09T21:19:03.400] power_save: pid 8629 waking nodes htc-1

Проверьте /var/log/slurmctld/resume.log. Если шаг возобновления завершается ошибкой, проверьте /var/log/slurmctld/resume_fail.log. Если вы видите сообщения о неизвестных или недопустимых именах узлов, выполните действия, описанные в разделе "Внесение изменений в кластер" перед добавлением узлов в кластер.

Справочник по конфигурации Slurm

В следующей таблице описаны параметры конфигурации Slurm, которые можно переключить для настройки функциональности:

CycleCloud поддерживает стандартный набор атрибутов автоматической остановки в планировщиках: