Подключение клиентов к управляемой файловой системе Lustre Azure

В этой статье описывается подготовка клиентов и подключение управляемой файловой системы Lustre Azure с клиентского компьютера.

Предварительные требования к клиенту

Клиентские машины под управлением Linux могут получать доступ к Управляемая Azure система Lustre. Ниже приведены основные требования к клиенту.

• ПО клиента Lustre: клиенты должны иметь установленный соответствующий пакет клиента Lustre. Готовые клиентские пакеты протестированы с Управляемая Azure система Lustre. Инструкции и параметры скачивания пакетов см. в разделе Установка или обновление клиентского программного обеспечения Lustre. Клиентские пакеты доступны для нескольких часто используемых дистрибутивов ОС Linux.
• Сетевой доступ к файловой системе: клиентские компьютеры нуждаются в сетевом подключении к подсети, на котором размещена файловая система Управляемая Azure система Lustre. Если клиенты находятся в другой виртуальной сети, может потребоваться использовать пиринг между виртуальными сетями.
• требования к подключению: клиенты должны иметь возможность использовать команду POSIX mount для подключения к файловой системе.
• Требования для достижения объявленной производительности:
  • Клиенты должны находиться в той же зоне доступности, в которой находится кластер.
  • Включить ускоренную сетевую функцию на всех клиентских виртуальных машинах. Если этот параметр недоступен, то для полного включения ускоренной сети необходимо остановить и освободить ресурсы каждой виртуальной машины.

Базовый рабочий процесс выглядит следующим образом:

1. Установите или обновите клиентское программное обеспечение Lustre на каждом клиенте.
2. используйте команду mount, чтобы сделать файловую систему Управляемая Azure система Lustre доступной на клиенте.
3. Если клиент больше не нужен, используйте команду umount без параметра -f (принудительно) или -l (ленивый) для аккуратного отключения клиента перед его выключением. Неправильное размонтирование клиента перед перезапуском или депровизированием может привести к проблемам с производительностью у других клиентов.

Установка или обновление клиентского программного обеспечения Lustre

Каждый клиент, подключающийся к файловой системе Lustre, должен иметь клиентский пакет Lustre, совместимый с версией Lustre файловой системы (в настоящее время 2.15 или 2.17 в зависимости от операционной системы). Полный список поддерживаемых дистрибутивов, ядер и архитектур см. в разделе "Планирование установки клиента Lustre".

Клиент можно установить с помощью одного из двух методов:

• Предварительно созданные пакеты kmod: предварительно скомпилированные модули ядра, соответствующие определенным версиям ядра. Самый быстрый способ установки.
• Пакеты DKMS: компилирует модуль ядра из источника на виртуальной машине. Автоматически перестраивается при обновлении ядра.

Готовые и протестированные клиентские пакеты для Управляемая Azure система Lustre можно скачать из репозитория программного обеспечения Linux для продуктов Microsoft.

Пакеты и модули ядра доступны для следующих операционных систем Linux. Выберите ссылки, чтобы перейти к инструкциям по установке.

• Ubuntu 24.04 (Lustre 2.17, amd64 и arm64)
• Ubuntu 22.04 (Lustre 2.15)
• Ubuntu 20.04 (Lustre 2.15)
• Ubuntu 18.04 (Lustre 2.15.4 -- заморожен, новых пакетов нет)
• Azure Linux 3 (Lustre 2.17)
• Red Hat Enterprise Linux 9 или AlmaLinux 9 (Lustre 2.15)
• Red Hat Enterprise Linux 8 или AlmaLinux 8 (Lustre 2.15)
• Red Hat Enterprise Linux 7 (Lustre 2.15.4 -- заморожен, новых пакетов нет)
• AlmaLinux HPC 8.6 (Lustre 2.15)

Если вам нужно поддержать другое распределение, обратитесь в службу поддержки.

Если вам нужно обновить старую версию клиента Lustre в системе Linux, см. обновление клиентского программного обеспечения Lustre до текущей версии. В процессе обновления необходимо удалить старые модули ядра и пакеты программного обеспечения.

Запустите клиент Lustre с помощью команды подключения

Подключите всех своих клиентов к IP-адресу службы управления файловой системы Lustre (MGS). В области подключения клиента на портале Azure отображается IP-адрес и приведен пример команды , которую можно скопировать и использовать для подключения клиентов.

Команда mount включает три компонента:

• Путь клиента: путь на клиентском компьютере, где должна быть подключена управляемая файловая система Lustre Azure. Значением по умолчанию является имя файловой системы, но его можно изменить. Перед использованием команды убедитесь, что этот путь к каталогу существует на клиентском mount компьютере.
• IP-адрес MGS: IP-адрес службы управления Lustre для управляемой файловой системы Azure Lustre.
• параметры команды монтирования: Пример команды mount включает дополнительные рекомендуемые параметры.

Эти компоненты собираются в команду с помощью следующей mount формы:

sudo mount -t lustre -o noatime,flock <MGS_IP>@tcp:/lustrefs /<client_path>

В команде mount:

• Значение lustrefs в термине MGS IP — это внутреннее имя, назначенное системой, связанное с кластером Lustre в управляемой Azure системе. Не изменяйте это литеральное значение при создании собственных mount команд.

• Задайте путь клиента как любую удобную точку монтирования, существующую на ваших клиентах. Это не обязательно имя управляемой файловой системы Lustre Azure (которое является значением по умолчанию).

Ниже приведен пример команды mount:

sudo mount -t lustre -o noatime,flock 10.0.0.4@tcp:/lustrefs /azure-lustre-mount

После подключения клиентов к файловой системе можно использовать управляемую файловую систему Azure Lustre, как и любую подключенную файловую систему. Например, можно выполнить одну из следующих задач:

• Доступ к данным из интегрированного контейнера BLOB путем отправки файлового запроса непосредственно на точку подключения. Процесс создания заполняет метаданные файловой системы, а файл добавляется в файловую систему Lustre при чтении.
• Добавьте данные в файловую систему (если при создании вы не добавили BLOB-контейнер с данными).
• Запустите задание вычислений.

Связанное содержимое

• Обзор Управляемая Azure система Lustre