Вычислительные ресурсы с поддержкой GPU

Обзор

Azure Databricks поддерживает ускорение вычислений с помощью единиц обработки графики (GPU). В этой статье описывается создание вычислительных ресурсов с экземплярами с поддержкой GPU и описание драйверов и библиотек GPU, установленных на этих экземплярах.

Дополнительные сведения о глубоком обучении вычислительных ресурсов с поддержкой GPU см. в статье "Глубокое обучение".

Создайте вычислительное задание на GPU.

Создание вычислений GPU аналогично созданию любых вычислений. Помните следующее:

• Установите флажок "Машинное обучение ". Версия GPU ML выбирается автоматически на основе типа рабочей роли.
• Флажок "Ускорение фотона" должен быть снят. Фотон не поддерживается типами экземпляров GPU.
• Тип рабочей роли и тип драйвера должны быть типами экземпляров GPU.
• Флажок "Один узел " можно проверить, чтобы получить один экземпляр GPU.

Процесс настройки экземпляров GPU с помощью [API кластеров] зависит от того, задано ли kind поле. kind определяет, использует ли запрос простую спецификацию формы:

• Значение kind = CLASSIC_PREVIEWif , задано "use_ml_runtime": true.
• Если поле не задано kind , установите spark_version версию с поддержкой GPU, например 15.4.x-gpu-ml-scala2.12.

Поддерживаемые типы экземпляров

Azure Databricks поддерживает следующие типы экземпляров:

NCads_H100_v5

• Тип GPU: NVIDIA H100 NVL GPU

NC_A100_v4

• Тип GPU: NVIDIA A100 PCIe GPU

NDasrA100_v4

• Тип GPU: NVIDIA Ampere A100 40 ГБ Tensor Core GPU

NVadsA10_v5

• Тип GPU: NVIDIA A10 GPU

NCasT4_v3

• Тип GPU: NVIDIA T4 GPU

NC_v3

• Тип GPU: NVIDIA Tesla V100 GPU

См. раздел цен на Azure Databricks для актуального списка поддерживаемых типов экземпляров GPU и регионов их доступности. Развертывание Azure Databricks должно находиться в поддерживаемом регионе для запуска вычислений с поддержкой GPU.

Планирование GPU

Планирование GPU эффективно распределяет задачи Spark по большому количеству GPU.

Databricks Runtime поддерживает планирование с поддержкой GPU из Apache Spark 3.0. Azure Databricks предварительно настраивает его для использования на вычислительных ресурсах GPU.

Планирование GPU для искусственного интеллекта и машинного обучения

spark.task.resource.gpu.amount — это единственная конфигурация Spark, связанная с планированием с поддержкой GPU, которую может потребоваться настроить. Конфигурация по умолчанию использует один GPU для каждой задачи, что является хорошим базовым показателем для распределенных рабочих нагрузок вывода и распределенного обучения при использовании всех узлов GPU.

Чтобы сократить затраты на обмен данными во время распределенного обучения, Databricks рекомендует задать spark.task.resource.gpu.amount количество GPU на рабочий узел в конфигурации вычислительной Spark. Это создает только одну задачу Spark для каждого рабочего узла Spark и назначает все графические процессоры в узле рабочем той же задаче.

Чтобы увеличить параллелизацию для вывода распределенного глубокого обучения, можно задать spark.task.resource.gpu.amount для дробных значений, таких как 1/2, 1/3, 1/4, ... 1/Н. Это создает больше задач Spark, чем есть графических процессоров, что позволяет выполнять больше параллельных задач для параллельной обработки инференс-запросов. Например, если задать для spark.task.resource.gpu.amount значение 0.5, 0.33или 0.25, доступные графические процессоры будут разделены между двумя, тройными или четырехкратными числами задач.

Индексы GPU

Для задач PySpark Azure Databricks автоматически переназначает назначенные графические процессоры на индексы с нуля. Для конфигурации по умолчанию, которая использует один GPU для каждой задачи, можно использовать GPU по умолчанию, не проверяя, какой GPU назначен задаче. Если задать несколько GPU для каждой задачи, например 4, индексы назначенных GPU всегда равны 0, 1, 2 и 3. Если вам нужны физические индексы назначенных GPU, их можно получить из переменной среды CUDA_VISIBLE_DEVICES.

При использовании Scala можно получить индексы графических процессоров, назначенных задаче из TaskContext.resources().get("gpu").

Драйвер NVIDIA GPU, CUDA и cuDNN

Azure Databricks устанавливает драйвер NVIDIA и библиотеки, необходимые для использования GPU на экземплярах драйвера и рабочих экземплярах Spark.

• CUDA Toolkit, установлен в /usr/local/cuda.
• cuDNN — NVIDIA CUDA Deep Neural Network Library.
• NCCL — NVIDIA Collective Communications Library.

Версия драйвера NVIDIA 535.54.03, включенная в состав, поддерживает CUDA 11.0. Для серии экземпляров NV A10 v5 включена версия драйвера NVIDIA .

Информацию о версиях включенных библиотек можно найти в заметках о выпуске для той версии Databricks Runtime, которую вы используете.

Лицензионное соглашение конечного пользователя NVIDIA

При выборе версии среды выполнения Databricks с поддержкой графического процессора в Azure Databricks вы неявно соглашаетесь с условиями и положениями, изложенными в NVIDIA EULA, относительно использования библиотек CUDA, cuDNN и Tesla, а также Лицензионного Соглашения NVIDIA (с дополнением к NCCL) для библиотеки NCCL.

Службы контейнеров Databricks на вычислительных мощностях GPU

Службы контейнеров Databricks можно использовать для вычислений с графическими процессорами для создания переносимых сред глубокого обучения с настраиваемыми библиотеками. См. раздел "Настройка контейнеров с помощью контейнерной службы Databricks" для получения инструкций.

Чтобы создать пользовательские образы для вычислений GPU, необходимо выбрать стандартную версию среды выполнения вместо Databricks Runtime ML для GPU. При выборе Использовать собственный контейнер Docker, вы можете выбрать вычисления GPU со стандартной версией среды выполнения. Пользовательские образы для GPU основаны на официальных контейнерах CUDA, отличных от Databricks Runtime ML для GPU.

При создании пользовательских образов для вычислений GPU нельзя изменить версию драйвера NVIDIA, так как она должна соответствовать версии драйвера на хост-компьютере.

В databricksruntimeЦентре Docker содержатся примеры базовых образов с возможностью GPU. Dockerfile-файлы, используемые для создания этих образов, находятся в репозитории GitHub для примеров контейнеров , который также содержит информацию о том, что обеспечивают примерные образы и как их настроить.