Поделиться через


Предварительные требования к управляемой файловой системе Lustre Azure

В этой статье описываются предварительные требования, которые необходимо настроить перед созданием управляемой файловой системы Lustre Azure.

Предварительные требования к сети

Вы предоставляете виртуальную сеть и подсеть для управляемых сетей Lustre Azure. Это позволяет полностью контролировать, какие меры безопасности сети вы хотите применить, включая вычислительные ресурсы и другие службы, которые могут получить доступ к Управляемому Lustre Azure. Убедитесь, что вы следуйте рекомендациям по сети и безопасности, указанным для Управляемого Lustre Azure. Включите разрешение необходимых подключений для основных служб, таких как протокол Lustre, техническая и диагностическая поддержка, хранилище BLOB-объектов Azure и мониторинг безопасности. Если параметры сети отключают одну из основных служб, это приводит к снижению производительности продукта или снижает возможности поддержки Майкрософт.

После создания файловой системы нельзя переместить из одной сети или подсети в другую.

Управляемый Lustre Azure принимает только IPv4-адреса. IPv6 не поддерживается.

Требования к размеру сети

Размер нужной подсети зависит от размера создаваемой файловой системы. В следующей таблице приведена приблизительная оценка минимального размера подсети для управляемых файловых систем Lustre Azure с различными размерами.

Объём хранилища Рекомендуемое значение префикса CIDR
4 ТиБ до 16 ТиБ /27 или больше
20 ТиБ до 40 ТиБ /26 или больше
44 ТиБ до 92 ТиБ /25 или больше
96 ТиБ до 196 ТиБ /24 или больше
200 ТиБ до 400 ТиБ /23 или больше

Другие рекомендации по размеру сети

При планировании виртуальной сети и подсети учитывайте требования к любым другим службам, которые вы хотите найти в подсети Или виртуальной сети Azure Managed Lustre.

Если вы используете кластер Служба Azure Kubernetes (AKS) с файловой системой Azure Managed Lustre, вы можете найти кластер AKS в той же подсети, что и файловая система. В этом случае необходимо предоставить достаточно IP-адресов для узлов и модулей pod AKS в дополнение к адресной области файловой системы Lustre. Если в виртуальной сети используется несколько кластеров AKS, убедитесь, что виртуальная сеть имеет достаточную емкость для всех ресурсов во всех кластерах. Дополнительные сведения о сетевых стратегиях для управляемого Lustre и AKS Azure см. в статье "Доступ к подсети AKS".

Если вы планируете использовать другой ресурс для размещения вычислительных виртуальных машин в той же виртуальной сети, проверьте требования для этого процесса перед созданием виртуальной сети и подсети для системы Azure Managed Lustre. При планировании нескольких кластеров в одной подсети необходимо использовать адресное пространство достаточно большого размера, чтобы соответствовать общим требованиям для всех кластеров.

Доступ и разрешения подсети

По умолчанию для включения Управляемого Lustre Azure не требуется вносить определенные изменения. Если в вашей среде включены политики ограниченной сети или безопасности, следует рассмотреть следующее руководство.

Тип доступа Обязательные параметры сети
Доступ к DNS По умолчанию: используйте DNS-сервер на основе Azure.
Дополнительно. Рекомендации по настройке с пользовательским DNS-сервером.
Доступ между узлами в подсети Azure Managed Lustre Разрешить входящий и исходящий доступ между узлами в подсети Azure Managed Lustre. Например, для развертывания кластера необходим доступ к TCP-порту 22 (SSH).
Доступ к облачной службе Azure Настройте группу безопасности сети, чтобы разрешить управляемой файловой системе Lustre в Azure доступ к облачным службам Azure из подсети управляемой системы Lustre в Azure.

Добавьте правило безопасности исходящего трафика со следующими свойствами:
- Порт: любой
- Протокол: любой
- Источник: виртуальная сеть
- Назначение: тег службы AzureCloud
- Действие: Разрешить

Примечание. Настройка облачной службы Azure также обеспечивает необходимую конфигурацию службы очередей Azure.

Дополнительные сведения см. в разделе тегов службы виртуальной сети.
Доступ Lustre
(TCP-порты 988, 1019-1023)
Группа безопасности сети должна разрешать входящий и исходящий трафик для TCP-порта 988 и диапазона TCP-портов 1019-1023. Эти правила необходимо разрешить между подсетями Azure Managed Lustre и любыми клиентскими узлами. Другие службы не могут зарезервировать или использовать эти порты на клиентах Lustre. Правила 65000 AllowVnetInBound по умолчанию и 65000 AllowVnetOutBound соответствуют этому требованию.

Подробные инструкции по настройке группы безопасности сети для управляемых файловых систем Azure Lustre см. в статье "Создание и настройка группы безопасности сети".

Известные ограничения

Следующие известные ограничения применяются к параметрам виртуальной сети для управляемых файловых систем Azure Lustre:

  • Ресурсы Azure Managed Lustre и Azure NetApp Files не могут совместно использовать подсеть. Если вы используете службу Azure NetApp Files, необходимо создать управляемую файловую систему Lustre Azure в отдельной подсети. Развертывание завершается ошибкой, если вы пытаетесь создать управляемую файловую систему Azure Lustre в подсети, содержащей или содержащую ресурсы Azure NetApp Files.
  • Если вы используете ypbind управляющую программу для клиентов для поддержания сведений о привязке сетевых служб (NIS), необходимо убедиться, что ypbind порт 988 не резервируется. Вы можете вручную настроить порты, которые ypbind резервируются, или убедиться, что инфраструктура запуска системы запускает подключение клиента Lustre перед запуском ypbind.

Note

После создания файловой системы Azure Managed Lustre в группе ресурсов файловой системы появятся несколько новых сетевых интерфейсов. Их имена начинаются с amlfs- и заканчиваются -snic. Не изменяйте параметры этих интерфейсов. В частности, оставьте значение по умолчанию включено для параметра ускорения сети. Отключение ускоренной сети в этих сетевых интерфейсах снижает производительность файловой системы.

Предварительные требования для интеграции BLOB-объектов (необязательно)

Если вы планируете интегрировать файловую систему Azure Managed Lustre с Хранилище BLOB-объектов Azure, выполните следующие предварительные требования перед созданием файловой системы.

Дополнительные сведения об интеграции BLOB-объектов см. в статье "Использование хранилища BLOB-объектов Azure" с файловой системой Azure Managed Lustre.

Управляемый Lustre Azure работает с учетными записями хранения с включенным иерархическим пространством имен и учетными записями хранения с неиерархическим, или плоским, пространством имен. Применяются следующие незначительные различия:

  • Для учетной записи хранения с включенным иерархическим пространством имен Управляемый Lustre считывает атрибуты POSIX из заголовка BLOB-объекта.
  • Для учетной записи хранения, которая не включает иерархическое пространство имен, Управляемый Lustre считывает атрибуты POSIX из метаданных BLOB-объектов. Отдельный пустой файл с тем же именем, что и содержимое контейнера BLOB-объектов, создается для хранения метаданных. Этот файл является братом фактического каталога данных в управляемой файловой системе Lustre Azure.

Чтобы интегрировать Хранилище BLOB-объектов Azure с управляемой файловой системой Lustre Azure, перед созданием файловой системы необходимо создать или настроить следующие ресурсы:

учетная запись хранения

Необходимо создать учетную запись хранения или использовать существующую. Учетная запись хранения должна иметь следующие параметры:

  • Тип учетной записи — совместимый тип учетной записи хранения. Дополнительные сведения см. в разделе "Поддерживаемые типы учетных записей хранения".
  • Доступ к ролям — назначения ролей , которые позволяют системе Azure Managed Lustre изменять данные. Дополнительные сведения см. в статье "Обязательные роли доступа".
  • Ключи доступа. Учетная запись хранения должна иметь параметр доступа к ключу учетной записи хранения, для которых задано значение "Включено".
  • Доступ к подсети . Учетная запись хранения должна быть доступна из подсети Azure Managed Lustre. Дополнительные сведения см. в разделе "Включение доступа к подсети".

Поддерживаемые типы учетных записей хранения

Следующие типы учетных записей хранения можно использовать с управляемыми файловыми системами Lustre Azure:

Тип учётной записи хранилища Redundancy
Standard Локально избыточное хранилище (LRS), геоизбыточное хранилище (GRS)

Хранилище, избыточное между зонами (ZRS), геоизбыточное хранилище (RAGRS), геоизбыточное хранилище (GZRS), хранилище с избыточностью между зонами чтения (RA-GZRS)
Премиум — блочные BLOB-объекты LRS, ZRS

Дополнительные сведения о типах учетных записей хранения см. в разделе "Типы учетных записей хранения".

Доступ к ролям для интеграции BLOB-объектов

Для доступа к учетной записи хранения требуется авторизация Управляемого Lustre Azure. Используйте управление доступом на основе ролей Azure (Azure RBAC), чтобы предоставить файловой системе доступ к хранилищу BLOB-объектов.

Владелец учетной записи хранения должен добавить эти роли перед созданием файловой системы:

Important

Перед созданием управляемой файловой системы Lustre Azure необходимо добавить эти роли. Если файловая система не может получить доступ к контейнеру BLOB-объектов, создание файловой системы завершается ошибкой. Проверка, выполненная до создания файловой системы, не может обнаруживать проблемы с разрешением доступа к контейнерам. Для распространения параметров роли через среду Azure может потребоваться до пяти минут.

Чтобы добавить роли для поставщика ресурсов HPC Cache субъекта-службы, выполните следующие действия.

  1. Перейдите к учетной записи хранения и выберите элемент управления доступом (IAM) в области навигации слева.
  2. Выберите Добавить>Добавить назначение ролей, чтобы открыть страницу Добавление назначения ролей.
  3. Назначьте роль.
  4. Добавьте поставщика ресурсов HPC Cache в ту роль.

    Tip

    Если поставщик ресурсов HPC Cache не удается найти, выполните поиск хранилища . Поставщик ресурсов storagecache был именем субъекта-службы до общедоступной доступности продукта.

  5. Повторите шаги 3 и 4, чтобы добавить каждую роль.

Подробные инструкции см. в статье Назначение ролей Azure с помощью портала Microsoft Azure.

Включение доступа к подсети

Настройте сетевой доступ учетной записи хранения, чтобы включить общедоступный доступ из всех сетей или из подсети, настроенной с помощью системы Azure Managed Lustre. Если вы решили отключить общедоступный доступ к учетной записи хранения (частные конечные точки), см. раздел "Частные конечные точки".

Чтобы включить доступ к учетной записи хранения из подсети Azure Managed Lustre, выполните следующие действия.

  1. Перейдите к учетной записи хранения и разверните узел "Безопасность + Сеть" на панели навигации слева.
  2. Выберите Сети.
  3. В разделе "Доступ к общедоступной сети" нажмите переключатель, чтобы включить общедоступный доступ из выбранных виртуальных сетей и IP-адресов (рекомендуется) или включить общедоступный доступ из всех сетей. Если выбрать включение общедоступного доступа из выбранных виртуальных сетей и IP-адресов, перейдите к приведенным ниже инструкциям. Если выбрать включение общедоступного доступа из всех сетей, перейдите к последнему шагу ниже, чтобы сохранить. Снимок экрана: включение общедоступного доступа из выбранных виртуальных сетей и IP-адресов в разделе
  4. В разделе "Виртуальные сети" щелкните "Добавить существующую виртуальную сеть".
  5. Справа выберите виртуальные сети и подсети, используемые Azure Managed Lustre.
  6. Нажмите кнопку "Включить".
  7. В левом верхнем углу нажмите кнопку "Сохранить".

Контейнеры BLOB

В одной учетной записи хранения должны быть два отдельных контейнера БОЛЬШИХ двоичных объектов, которые используются в следующих целях:

  • Контейнер данных: контейнер BLOB-объектов в учетной записи хранения, содержащий файлы, которые вы хотите использовать в файловой системе Azure Managed Lustre.
  • Контейнер ведения журнала: второй контейнер для журналов импорта и экспорта в учетной записи хранения. Журналы должны храниться в другом контейнере из контейнера данных.

Note

Файлы можно добавить в файловую систему позже из клиентов. Однако файлы, добавленные в исходный контейнер BLOB-объектов после создания файловой системы, не импортируются в файловую систему Azure Managed Lustre, если только создать задание импорта.

Частные конечные точки (необязательно)

Если вы используете частную конечную точку с настройкой большого двоичного объекта, чтобы убедиться, что Управляемый Lustre Azure может разрешить имя SA, необходимо включить параметр частной конечной точки Интеграции с частной зоной DNS во время создания новой конечной точки.

  • Интеграция с зоной Частная зона DNS: необходимо задать значение "Да".

Снимок экрана: вкладка DNS процесса установки конечной точки.

Дальнейшие шаги