HTCondor

Вы можете включить HTCondor в кластере CycleCloud, изменив раздел конфигурации вашего определения кластера run_list . Кластер HTCondor состоит из трех основных компонентов. Первый — это центральный менеджер, который обеспечивает планирование и управление демонами. Второй компонент – это один или несколько планировщиков, из которых задания подаются в систему. Последний компонент — это один или несколько узлов выполнения, которые являются хостами, выполняющими вычисления. Простой шаблон HTCondor может выглядеть следующим образом:

[cluster htcondor]

  [[node manager]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A4 # 8 cores

      [[[configuration]]]
      run_list = role[central_manager]

  [[node scheduler]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A4 # 8 cores

      [[[configuration]]]
      run_list = role[condor_scheduler_role],role[filer_role],role[scheduler]

  [[nodearray execute]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A1 # 1 core
  Count = 1

      [[[configuration]]]
      run_list = role[usc_execute]

При импорте и запуске кластера с этим определением в CycleCloud вы получаете узел менеджера и планировщика , а также один узел выполнения . Вы можете добавить узлы выполнения в кластер с помощью cyclecloud add_node команды. Чтобы добавить еще 10 узлов выполнения , используйте следующую команду:

cyclecloud add_node htcondor -t execute -c 10

HTCondor Автомасштабирование

CycleCloud поддерживает автомасштабирование для HTCondor. Программное обеспечение отслеживает состояние вашей очереди и включает и выключает узлы по мере необходимости, чтобы выполнить работу за оптимальное количество времени и затрат. Чтобы включить автомасштабирование для HTCondor, добавьте Autoscale=true в определение кластера:

[cluster htcondor]
Autoscale = True

Расширенное использование HTCondor

Если известно среднее время выполнения заданий, определите average_runtime его (в минутах) в задании. CycleCloud использует это значение для запуска минимального количества узлов. Например, если отправлено пять заданий по 10 минут и average_runtime установлено значение 10, CycleCloud запустит только один узел вместо пяти.

Автомасштабирование NodeArray

По умолчанию HTCondor запрашивает ядра из массива узлов с именем execute. Если для задания требуется другой массив узлов (например, если определенные задания в рабочем процессе требуют большого объема памяти), укажите slot_type атрибут для задания. Например, добавление приводит к тому +slot_type = "highmemory" , что HTCondor запрашивает узел из highmemory nodearray вместо execute (этот параметр в настоящее время необходимо htcondor.slot_type = "highmemory" установить в разделе nodearray [[[configuration]]] ). Этот параметр не влияет на то, как HTCondor планирует задания, поэтому может потребоваться включить slot_type атрибут startd в задания requirements или rank выражения. Например: Requirements = target.slot_type = "highmemory".

Отправка заданий в HTCondor

Наиболее общим способом отправки заданий в планировщик HTCondor является команда (запускается из узла планировщика):

condor_submit my_job.submit

Пример файла отправки может выглядеть следующим образом:

      Universe = vanilla
      Executable = do_science
      Arguments = -v --win-prize=true
      Output = log/$(Cluster).$(Process).out
      Error = log/$(Cluster).$(Process).err
      Should_transfer_files = if_needed
      When_to_transfer_output = On_exit
      +average_runtime = 10
      +slot_type = "highmemory"
      Queue

Справочник по конфигурации HTCondor

Следующие параметры конфигурации, специфичные для HTCondor, настраивают функциональность:

Автоматически сгенерированный конфигурационный файл HTCondor

HTCondor имеет большое количество конфигурационных параметров, в том числе определяемых пользователем атрибутов. CycleCloud предлагает возможность создания пользовательского файла конфигурации с использованием атрибутов, определенных в кластере:

CycleCloud поддерживает стандартный набор атрибутов автоостановки во всех планировщиках.