Создание кластеров распределенных вычислений MATLAB на виртуальных машинах Azure

Используйте виртуальные машины Microsoft Azure для создания одного или нескольких кластеров MATLAB Distributed Computing Server для выполнения ресурсоемких параллельных задач MATLAB. Установите программное обеспечение сервера распределенных вычислений MATLAB на виртуальной машине для использования в качестве базового образа и используйте шаблон быстрого запуска Azure или скрипт Azure PowerShell (доступный на сайте GitHub) для развертывания кластера и управления им. После развертывания подключитесь к кластеру для выполнения рабочих нагрузок.

Сведения о MATLAB и MATLAB Distributed Computing Server.

Платформа MATLAB оптимизирована для решения инженерных и научных задач. Пользователи MATLAB с крупномасштабными имитациями и задачами обработки данных могут использовать параллельные вычислительные продукты MathWorks для ускорения вычислительных рабочих нагрузок с интенсивным вычислением, используя преимущества вычислительных кластеров и служб сетки. Панель элементов параллельных вычислений позволяет пользователям MATLAB параллелизировать приложения и использовать преимущества многоядерных процессоров, GPU и вычислительных кластеров. Сервер распределенных вычислений MATLAB позволяет пользователям MATLAB использовать множество компьютеров в вычислительном кластере.

Используя виртуальные машины Azure, вы можете создавать кластеры MATLAB Distributed Computing Server с теми же механизмами, которые доступны для отправки параллельных заданий в локальных кластерах, такими как интерактивные задания, пакетные задания, независимые задачи и задачи на взаимодействие. Использование Azure в сочетании с платформой MATLAB имеет множество преимуществ по сравнению с подготовкой и использованием традиционного локального оборудования: диапазон размеров виртуальных машин, создание кластеров по запросу, поэтому вы платите только за используемые вычислительные ресурсы и возможность тестирования моделей в масштабе.

Предпосылки

• Клиентский компьютер — после развертывания потребуется клиентский компьютер под управлением Windows для взаимодействия с Azure и кластером распределенного вычислительного сервера MATLAB.
• Azure PowerShell . Узнайте , как установить и настроить Azure PowerShell , чтобы установить его на клиентском компьютере.
• Подписка Azure . Если у вас нет подписки, вы можете создать бесплатную учетную запись всего за несколько минут. Для больших кластеров рассмотрите подписку с оплатой по мере использования или другие варианты покупки.
• Квота виртуальных ЦП . Возможно, потребуется увеличить квоту виртуального ЦП для развертывания большого кластера или нескольких кластеров распределенных вычислений MATLAB. Чтобы увеличить квоту, откройте онлайн-запрос на поддержку клиентов без оплаты.
• ЛИЦЕНЗИИ MATLAB, Parallel Computing Toolbox и MATLAB Distributed Computing Server . Скрипты предполагают, что диспетчер лицензий, размещенный в MathWorks , используется для всех лицензий.
• Программное обеспечение сервера распределенных вычислений MATLAB — будет установлено на виртуальной машине, которая будет использоваться в качестве базового образа виртуальной машины для виртуальных машин кластера.

Шаги высокого уровня

Чтобы использовать виртуальные машины Azure для кластеров серверов распределенных вычислений MATLAB, необходимо выполнить следующие высокоуровневые действия. Подробные инструкции приведены в документации, сопровождающей шаблон быстрого запуска и скрипты на GitHub.

1. Создание базового образа виртуальной машины

   • Скачайте и установите программное обеспечение сервера распределенных вычислений MATLAB на эту виртуальную машину.

     Примечание.

     Этот процесс может занять несколько часов, но это необходимо сделать только один раз для каждой используемой версии MATLAB.

2. Создание одного или нескольких кластеров

   • Используйте предоставленный скрипт PowerShell или используйте шаблон быстрого запуска для создания кластера на основе базового образа виртуальной машины.
   • Управляйте кластерами с помощью предоставленного скрипта PowerShell, который позволяет перечислять, приостанавливать, возобновлять и удалять кластеры.

Конфигурации кластера

В настоящее время скрипт создания кластера и шаблон позволяют создать одну топологию сервера распределенных вычислений MATLAB. Если вы хотите, создайте один или несколько дополнительных кластеров с каждым кластером с разными рабочими виртуальными машинами, используя разные размеры виртуальных машин и т. д.

Клиент и кластер MATLAB в Azure

Клиентский узел MATLAB, узел планировщика заданий MATLAB и рабочие узлы сервера распределенных вычислений MATLAB настроены как виртуальные машины Azure в виртуальной сети, как показано на следующем рисунке.

• Чтобы использовать кластер, подключитесь к узлу клиента с помощью удаленного рабочего стола. Клиентский узел запускает клиент MATLAB.
• Узел клиента имеет общую папку, доступ к которому можно получить всеми рабочими сотрудниками.
• Диспетчер лицензий, размещенный в MathWorks, используется для проверки лицензий для всех программ MATLAB.
• По умолчанию на каждой виртуальной машине создается один рабочий MATLAB Distributed Computing Server на каждый виртуальный процессор (vCPU), но можно указать любое количество.

Использование кластера на основе Azure

Как и в других типах кластеров сервера распределенных вычислений MATLAB, необходимо использовать диспетчер профилей кластера в клиенте MATLAB (на клиентской виртуальной машине) для создания профиля кластера планировщика заданий MATLAB.

Дальнейшие действия

• Подробные инструкции по развертыванию кластеров сервера распределенных вычислений MATLAB и управлению ими в Azure см. в репозитории GitHub , содержащем шаблоны и скрипты.
• Перейдите на сайт MathWorks , чтобы получить подробную документацию по MATLAB и MATLAB Distributed Computing Server.