Оптимизация загрузки крупных файлов с помощью сети доставки контента Azure

Размеры файлов, передаваемых через Интернет, продолжают расти в результате расширения функциональности, улучшения графики и расширенного мультимедийного содержимого. Этот рост зависит от многих факторов: широкополосное проникновение, более крупные недорогие устройства хранения, широкое увеличение видео высокого определения и подключенные к Интернету устройства (IoT). Чтобы обеспечить комфорт пользователей, крайне важно обеспечить быстрый и эффективный механизм доставки для файлов большого размера.

С доставкой больших файлов связано несколько трудностей. Во-первых, среднее время скачивания большого файла может оказаться довольно большим, так как приложения могут не скачивать все данные последовательно. В некоторых случаях приложение может скачать последнюю часть файла, а затем — первую. Если запрашивается небольшая часть файла или пользователь приостанавливает скачивание, скачивание может завершиться сбоем. Скачивание также может быть отложено до тех пор, пока сеть доставки содержимого не извлекает весь файл с исходного сервера.

Во-вторых, задержка между компьютером пользователя и файлом определяет скорость, с которой пользователь может просматривать содержимое. Кроме того, на пропускную способность также могут повлиять перегрузка сети и проблемы, связанные с емкостью сети. Большее расстояние между серверами и пользователями создает больше возможностей для потери пакетов, что снижает качество. Снижение качества, вызванное ограниченной пропускной способностью и увеличенной частотой потери пакетов, может увеличить время скачивания файла.

В-третьих, многие большие файлы не доставляются в полном объеме. Пользователи могут отменить загрузку в середине или просмотреть только первые несколько минут длинного видео MP4. Поэтому компании, занимающиеся доставкой программного обеспечения и медиа, хотят доставлять только ту часть файла, которая была запрошена. Эффективное распределение запрошенных частей файла снижает исходящий трафик с сервера-источника. Эффективное распределение также снижает нагрузку на оперативную память и операции ввода/вывода на сервере-источнике.

Оптимизация доставки больших файлов с помощью Azure сеть доставки содержимого от Майкрософт

Конечные точки Azure CDN уровня "Стандартный" от Майкрософт доставляют большие файлы без ограничения на размер файла. Дополнительные функции включены по умолчанию, чтобы ускорить доставку больших файлов.

Фрагментирование объекта

В Azure CDN Standard от Microsoft используется метод, называемый объектным разбиением. При запросе большого файла сеть доставки содержимого извлекает меньшие части файла из источника. После того как pop-сервер сети доставки содержимого получает полный или байтовый запрос файла, сервер пограничной сети доставки содержимого запрашивает файл из источника в блоках размером 8 МБ.

After the chunk arrives at the content delivery network edge, it's cached and immediately served to the user. The content delivery network then prefetches the next chunk in parallel. Эта предварительная загрузка гарантирует, что содержимое остается на один шаг впереди пользователя, что позволяет уменьшить задержку. Этот процесс продолжается до тех пор, пока весь файл не будет скачан (при запросе), все диапазоны байтов доступны (при запросе), или клиент завершает подключение.

Дополнительные сведения о запросе диапазона байт см. в разделе RFC 7233.

Сеть доставки содержимого кэширует все блоки по мере их получения. Весь файл не должен кэшироваться в кэше сети доставки содержимого. Последующие запросы к диапазонам файлов или байтов отправляются из кэша сети доставки содержимого. Если не все части кэшируются в сети доставки контента, используется предварительная загрузка для запроса частей из источника. В основе этой оптимизации лежит поддержка запросов диапазонов байт сервером-источником. Если сервер-источник не поддерживает запросы диапазона байтов, запросы на скачивание данных размером более 8 МБ завершаются ошибкой.

Условия для оптимизации больших файлов

Ограничения на максимальный размер файла отсутствуют.

Chunked Transfer Encoding Support

Сеть доставки контента Майкрософт поддерживает использование кодировки передачи, но только для контента размером до 8 МБ. In the case of chunked transfer encoded responses exceeding 8 MB, the Microsoft content delivery network will only cache and serve the initial 8 MB of content.

Другие вопросы

Рассмотрим следующие аспекты этого типа оптимизации:

• Процесс разбиения на части создает больше запросов к исходному серверу. Однако общий объем данных, доставленных из источника, меньше. Chunking results in better caching characteristics at the content delivery network.

• Нагрузка на оперативную память и операции ввода/вывода в источнике снижаются, так как передаются более мелкие фрагменты файлов.

• Для блоков, кэшированных в сети доставки содержимого, нет других запросов к источнику до истечения срока действия содержимого или вытеснения из кэша.

• Пользователи могут выполнять запросы диапазона к сети доставки содержимого, которые обрабатываются как любой обычный файл. Оптимизация применяется только в том случае, если файл имеет допустимый тип и если диапазон байт находится между 10 МБ и 150 ГБ. Если средний размер запрашиваемого файла меньше 10 МБ, используйте общую веб-доставку.