Режим потоковой передачи и кэширования для подключений BLOBFuse

Вы можете использовать BlobFuse для монтирования контейнера Azure Blob Storage в режиме потоковой передачи (кэш блока) или режиме кэширования (кэш файлов). В этой статье описывается каждый режим и вы можете решить, какой режим лучше всего подходит для рабочих нагрузок.

Выбор между режимами потоковой передачи и кэширования

В режиме потоковой передачи данные передаются блоками и обрабатываются по мере загрузки. Этот режим предназначен для рабочих нагрузок, связанных с большими файлами, такими как наборы данных для обучения ИИ/ML, последовательность генома и моделирование высокопроизводительных вычислений (HPC).

Используйте режим потоковой передачи для больших файлов, так как он поддерживает потоковую передачу для операций чтения и записи. BlobFuse кэширует блоки потоковых файлов в памяти. Для небольших файлов, не состоящих из блоков, весь файл хранится в памяти. Режим кэширования — это альтернативный режим, который следует использовать для рабочих нагрузок, не связанных с большими файлами, где файлы хранятся на диске в полном объеме.

В режиме кэширования BLOBFuse загружает весь файл из хранилища BLOB-объектов Azure в локальный каталог кэша , прежде чем сделать его доступным для приложения. Все последующие операции чтения и записи поступают из этого локального кэша, пока файл не будет вытеснен или аннулирован. Если файл создан или изменен, закрытие дескриптора файла из приложения активирует отправку этого файла в контейнер хранилища. Этот режим подходит для рабочих нагрузок с повторяющимися считываниями файлов или наборов данных, которые могут помещаться на локальный диск.

На следующей схеме вы можете выбрать между этими двумя режимами при работе с рабочими нагрузками только для чтения.

Схема, которая помогает выбрать между кэшем блоков или кэшом файлов для рабочих нагрузок, доступных только для чтения.

На следующей схеме вы можете выбрать между этими двумя режимами при работе с рабочими нагрузками чтения и записи.

Схема, демонстрирующая выбор между режимом кэша блоков и файлового кэша для рабочих нагрузок чтения и записи.

Дальнейшие шаги

См. также