Что такое Управляемый Lustre Azure?

Файловая система Azure Managed Lustre — это управляемая система, которая предлагает масштабируемое, мощное и экономичное хранилище для рабочих нагрузок высокопроизводительных вычислений (HPC).

Ниже приведены некоторые ключевые функции и преимущества Управляемого Lustre Azure:

• Ускорение рабочих нагрузок HPC: предлагает высокопроизводительное решение распределенной файловой системы, идеально подходит для рабочих нагрузок HPC, требующих высокой пропускной способности, низкой задержки и совместимости протокола Lustre.
• Специализированная управляемая служба. Обеспечивает преимущества параллельной файловой системы Lustre без сложности управления базовой инфраструктурой. Azure Managed Lustre — это полностью управляемая служба, которая упрощает операции, снижает затраты на настройку и устраняет сложные задачи по обслуживанию.
• интеграция Azure Blob Storage: Позволяет подключать файловые системы Azure Managed Lustre к контейнерам Azure Blob для оптимального размещения данных и управления затратами. Дополнительные сведения см. в интеграции с хранилищем BLOB-объектов Azure.
• интеграция Службы Azure Kubernetes (AKS). Позволяет контейнеризировать рабочие нагрузки с помощью доступного драйвера CSI, совместимого с AKS. Дополнительные сведения см. в статье Об использовании Управляемого Lustre Azure с Kubernetes.

Lustre — это параллельная файловая система с открытым кодом, которая может масштабироваться до больших размеров хранилища, обеспечивая высокую производительность. Lustre используется самыми быстрыми суперкомпьютерами в мире и в рабочих процессах, ориентированных на данные для многих типов отраслей. Дополнительные сведения о Lustre см. в https://www.lustre.org.

Безопасность данных в Управляемом Lustre в Azure

Все данные, хранящиеся в Azure, шифруются неактивных с помощью управляемых ключей Azure по умолчанию. Если вы хотите управлять ключами, используемыми для шифрования данных, хранящихся в кластере Azure Managed Lustre, следуйте инструкциям в шифровании на стороне сервера хранилища дисков Azure.

Все сведения в управляемой файловой системе Lustre Azure защищены шифрованием узла виртуальной машины на управляемых дисках, в которых хранятся данные, даже если вы добавляете управляемый клиентом ключ для дисков Lustre. Добавление ключа, управляемого клиентом, обеспечивает дополнительный уровень безопасности для клиентов с высокими потребностями безопасности. Дополнительные сведения см. в статье о шифровании на стороне сервера хранилища дисков Azure.

Устойчивость данных в Управляемом Lustre Azure

В управляемой файловой системе Lustre Azure используются управляемые диски Azure в качестве дисков данных, предназначенных для хранения объектов (OST).

Все управляемые файловые системы Azure Lustre, созданные как "устойчивый" тип файловой системы, используют диски SSD Azure Premium (твердотельный диск), настроенные как локально избыточное хранилище (LRS). Содержимое диска LRS реплицируется три раза в локальном центре обработки данных для защиты от сбоев диска и стойки сервера.

Сама файловая система Azure Lustre также способствует устойчивости данных через процессы хранения объектов, которые он использует для хранения данных на этих дисках.

Если вам нужна региональная или глобальная избыточность данных, вы можете интегрировать файловую систему с Хранилище BLOB-объектов Azure. После интеграции можно инициировать задание экспорта для экспорта файлов в контейнер Хранилище BLOB-объектов Azure с другой политикой избыточности для долгосрочного хранения. Настройте Хранилище BLOB-объектов Azure избыточность для учетной записи хранения. Вы можете выбрать зональную избыточность данных (ZRS) или глобальную избыточность данных (GRS) при создании учетной записи хранения. Дополнительные сведения о параметрах избыточности данных для управляемых файлов Lustre Azure см. в статье "Поддерживаемые типы учетных записей хранения".

интеграция Хранилище BLOB-объектов Azure

Azure Blob Storage интегрировано с Azure Managed Lustre, что позволяет задать файлы для импорта из контейнера blob-объектов для нужд файловой системы. Хранилище BLOB-объектов Azure интеграция — это приложение управления иерархическим хранилищем Lustre (HSM). Для каждого задания не требуется импортировать весь набор данных. Вместо этого можно создать другую файловую систему для различных заданий и хранить данные в контейнерах больших двоичных объектов Azure с более низкой стоимостью между использованием. После завершения высокопроизводительных вычислений можно экспортировать измененные данные в Хранилище BLOB-объектов Azure и удалить систему Azure Managed Lustre.

Управляемый Lustre Azure настраивается для эффективной работы с Хранилище BLOB-объектов Azure. Можно указать существующий контейнер BLOB-объектов, чтобы сделать существующие данные доступными из файловой системы Azure Managed Lustre. Можно также указать пустой контейнер, который вы заполняете данными или используете для хранения выходных данных. Настройка и обслуживание выполняются для вас. Просто укажите, какой контейнер BLOB-объектов следует использовать.

При интеграции Хранилище BLOB-объектов Azure при создании файловой системы Lustre можно использовать функции Lustre HSM. Если вы не хотите воспользоваться преимуществами Lustre HSM, вы можете импортировать и экспортировать данные для управляемой файловой системы Azure Lustre с помощью клиентских команд напрямую.

Дополнительные сведения об этой функции см. в интеграции с хранилищем BLOB-объектов Azure.

Использование Управляемого Lustre Azure с Kubernetes

Если вы хотите использовать систему хранения Azure Managed Lustre с контейнерами Kubernetes, можно использовать драйвер поддержки контейнеров Azure Lustre (CSI) для Kubernetes, совместимый с Служба Azure Kubernetes (AKS). В настоящее время другие типы установки Kubernetes не поддерживаются.

Kubernetes может упростить настройку и развертывание конечных точек виртуальных клиентов для рабочей нагрузки Azure Managed Lustre, автоматив такие задачи установки, как:

• Создание azure Масштабируемые наборы виртуальных машин, используемой Служба Azure Kubernetes (AKS) для запуска модулей pod.
• Загрузка правильного клиентского программного обеспечения Lustre на экземплярах виртуальных машин.
• Указание точки подключения Azure Managed Lustre и распространение этой информации на клиентские модули pod.

Драйвер Azure Lustre CSI для Kubernetes может автоматизировать установку клиентского программного обеспечения и подключенных дисков. Драйвер предоставляет подключаемый модуль контроллера CSI в качестве развертывания с двумя репликами по умолчанию и подключаемый модуль узла CSI в качестве daemonSet. Количество реплик можно изменить.

Дополнительные сведения об этой функции см. в разделе "Использование Azure Managed Lustre CSI-драйвера с услугой Azure Kubernetes Service".

Чтобы узнать, какие версии драйверов следует использовать, ознакомьтесь с совместимыми версиями Kubernetes.

Связанное содержимое

• Развертывание управляемой файловой системы Lustre Azure с помощью портала Azure, шаблонов Azure Resource Manager (ARM) или Terraform.
• Узнайте больше об интеграции хранилища BLOB-объектов
• Дополнительные сведения об использовании Управляемого Lustre Azure с Kubernetes