Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В этой статье вы узнаете, как устранять распространенные проблемы, которые могут возникнуть при развертывании файловой системы Azure Managed Lustre.
Предпосылки
- Доступ к ресурсу AMLFS на портале Azure
- Административные привилегии на виртуальных машинах клиентов Lustre
- Знакомство с понятиями сети и безопасности Azure
Лучшие практики
Чтобы обеспечить оптимальную производительность и безопасность, обновляйте клиенты Lustre. Чтобы воспользоваться последними исправлениями ошибок и оптимизацией, используйте последнее клиентское программное обеспечение Lustre из packages.microsoft.com. Сведения об обновлении см. в документации ПО AMLFS. При использовании интегрированных образов (например, образов HPC) обновите виртуальные машины до последнего образа для последнего клиента Lustre.
Симптом 1: Сниженная пропускная способность, пропускная способность канала или более высокая задержка, чем ожидалось
Если развертывание AMLFS не достигает ожидаемой пропускной способности или полосы пропускания, либо вы замечаете повышенную задержку, просмотрите области конфигурации:
| Потенциальная проблема | Рекомендуемое действие |
|---|---|
| Размещение зоны доступности | Чтобы свести к минимуму задержку, убедитесь, что клиенты Lustre (вычислительные узлы) и AMLFS находятся в одном регионе Azure и зоне доступности. |
| Ускорение работы в сети | Включите ускоренную сеть на всех виртуальных машинах клиента Lustre для максимальной пропускной способности. Инструкции см. в предварительных требованиях клиента . |
| Конфигурация стрипинга файлов | Оптимизируйте распределение файлов для рабочих нагрузок, обращающихся к большим файлам. Более широкая полоса повышает пропускную способность для отдельных файлов, но может быть вредна для небольших файлов. См. документацию по AMLFS для получения указаний. |
| Размер файловой системы | Сравните подготовленную пропускную способность (показанную на вкладке "Обзор AMLFS") с текущим использованием (вкладка "Мониторинг"). Если достигнуто ограничение, рассмотрите более крупную файловую систему с большей выделенной пропускной способностью. |
| Конфигурация брандмауэра Azure | Настройте брандмауэр Azure, чтобы избежать маршрутизации клиента Lustre и трафика AMLFS через брандмауэр. Фильтруйте только трафик, входящий или покидающий подсеть, а не в подсети. Дополнительные сведения см. в документации ПО AMLFS. |
Важные ссылки:
- Оптимизация производительности Управляемого Lustre в Azure
- Оптимизация макетов файлов и каталогов
- Используйте Azure Firewall с Azure Managed Lustre
Симптом 2: Приостановка рабочей нагрузки или зависание при монтировании файловой системы
Рабочие нагрузки могут приостановиться или точки монтирования могут зависнуть из-за проблем с оркестратором или сетевыми проблемами. Используйте контрольный список для устранения неполадок.
| Потенциальная проблема | Рекомендуемое действие |
|---|---|
| Вытеснения клиентов | Всегда отключает файловую систему (без использования -f или -l) перед остановкой, удалением или перезагрузкой виртуальных машин клиента Lustre. Невыполнение этого может привести к событиям вытеснения, в результате чего подключенным клиентам могут наблюдаться паузы до 15 минут из-за возможностей кэширования в сочетании с последовательностью его протокола. Вы можете отслеживать вытеснения клиентов Lustre на вкладке "Мониторинг" на портале Azure. |
| Практики использования виртуальных машин Spot, VMSS и оркестраторов | Следуйте соответствующим процедурам для отключения Lustre перед выделением экземпляров. Используйте запланированные события для автоматизации отсоединения и предотвращения изгнания клиентов. См. важные ссылки после этой таблицы. |
| Группа безопасности сети (NSG) или неправильное настройка брандмауэра | Просмотрите последние изменения в сетевых группах безопасности или в правилах брандмауэра. Убедитесь, что открыты все необходимые порты и конечные точки. Изменения правил могут вступили в силу только после перезагрузки виртуальной машины или другого события повторного подключения TCP. |
| Окно обслуживания | Если возникают временные паузы, проверьте настроенное окно обслуживания на портале Azure. AMLFS может проходить запланированное обслуживание. При необходимости ознакомьтесь с документацией ПО AMLFS по обслуживанию, настройке уведомлений и изменению периода обслуживания. |
Важные ссылки:
- Подключение клиентов к файловой системе
- Конфигурация группы безопасности сети
- Используйте Azure Firewall с Azure Managed Lustre
- Документация по периоду обслуживания
Сканеры безопасности и антивирусная программа на клиентах Lustre
Избегайте запуска антивирусных программ, систем обнаружения и реагирования на угрозы (EDR), сканеров уязвимостей или сканеров безопасности (например, ClamAV) параллельно с нескольких клиентов для подключения Lustre. Пошаговое руководство по рекурсивной файловой системе может создавать большие объемы операций метаданных. В этих обходах файловой системы происходит борьба за блокировки общих ресурсов (особенно корневого каталога файловой системы и часто посещаемых каталогов), что может замедлить выполнение рабочих нагрузок в кластере.
Если требуется сканирование файловой системы Lustre, запустите сканер из одного выделенного клиента во время низкой активности. Исключите подключение Lustre из конфигураций сканера на всех остальных клиентах (данные идентичны для каждого клиента, поэтому сканирование на один клиент не обеспечивает дополнительного покрытия безопасности). Чтобы свести к минимуму влияние, настройте частоту сканирования.