Подходит ли ваша работа для Azure HPC Cache?

Azure HPC Cache может ускорить доступ к данным для высокопроизводительных вычислительных заданий в различных дисциплинах. Но это не идеально подходит для всех типов рабочих процессов. В этой статье приведены рекомендации по принятию решения о том, является ли HPC Cache хорошим вариантом для ваших потребностей.

В статье "Обзор" также приводится краткое описание того, когда следует использовать Azure HPC Cache и некоторые примеры вариантов использования.

Также ознакомьтесь с этой статьей о том, как эффективно использовать хранилище BLOB-объектов, подключенное к NFS.

Приложения NFS версии 3.0

Azure HPC Cache поддерживает только клиенты NFS 3.0.

Высокий коэффициент чтения и записи

Рабочие нагрузки, в которых вычислительные клиенты выполняют больше чтения, чем они пишут, обычно являются хорошими кандидатами для кэша. Например, если соотношение операций чтения и записи равно 80/20 или 70/30, Azure HPC Cache может помочь, предоставляя часто запрашиваемые файлы из кэша, а не получая их из удаленного хранилища снова и снова.

Получение файла и его хранение в кэше в первый раз имеет небольшую дополнительную задержку по сравнению с обычным запросом клиента непосредственно в хранилище, поэтому повышение эффективности происходит при следующем запросе клиента к тому же файлу. Это особенно верно для больших файлов. Если каждый запрос клиента является уникальным, влияние HPC Cache ограничено. Но чем больше файл, тем лучше становится производительность с течением времени после первого доступа.

Рабочая нагрузка аналитики на основе файлов

Azure HPC Cache идеально подходит для конвейера, использующего данные на основе файлов и выполняющихся в большом количестве вычислительных клиентов, особенно если вычислительные клиенты являются виртуальными машинами Azure. Это может помочь устранить низкую или несогласованную производительность, которая вызвана длительным временем доступа к файлам.

Удаленный доступ к данным

Azure HPC Cache может помочь сократить задержку, если рабочая нагрузка должна получить доступ к удаленным данным, которые не могут быть перемещены ближе к вычислительным ресурсам. Например, записи могут находиться в далеком конце среды глобальной сети, в другом регионе Azure или в центре обработки данных клиента. (Иногда это называется "разбивкой файлов".)

Большая нагрузка запросов

Если большое количество клиентов запрашивает данные из источника одновременно, Azure HPC Cache может ускорить доступ к файлам. Например, при использовании с высокопроизводительными вычислительными кластерами Azure HPC Cache обеспечивает масштабируемость для большого количества одновременных запросов через кэш.

Вычислительные ресурсы находятся в Azure

Виртуальные машины Azure — это масштабируемый и экономичный ответ на высокопроизводительную рабочую нагрузку вычислений. Azure HPC Cache может помочь, приведя сведения, необходимые им ближе, особенно если исходные данные хранятся в удаленной системе.

Если заказчик хочет запустить их текущий конвейер обработки данных "как есть" на виртуальных машинах Azure, Azure HPC Cache может предоставить общее хранилище, основанное на POSIX, или решение для кэширования для масштабируемости.

Используя Azure HPC Cache, вам не нужно перепроектировать рабочий конвейер для выполнения собственных вызовов в хранилище BLOB-объектов Azure. Вы можете получить доступ к данным в исходной системе или использовать HPC Cache для перемещения их в новый BLOB-контейнер.

Дальнейшие действия

  • Last updated on