Передача больших наборов данных со средней или высокой пропускной способностью сети

В этой статье представлен обзор решений для передачи данных, если в среде имеется средняя и высокая пропускная способность сети, и вы планируете перенести большие наборы данных. В этой статье также описываются рекомендуемые параметры передачи данных и соответствующая матрица ключевых возможностей для этого сценария.

Чтобы понять все доступные параметры передачи данных, перейдите к разделу "Выбор решения для передачи данных Azure".

Описание сценария

Большие наборы данных относятся к размерам данных в порядке ТС. Средняя до высокой пропускной способности сети относится к 100 Мбит/с до 10 Гбит/с.

Рекомендуемые параметры

Рекомендуемые для этого сценария варианты зависят от пропускной способности сети (средняя или высокая).

Средняя пропускная способность сети (от 100 Мбит/с до 1 Гбит/с)

С умеренной пропускной способностью сети необходимо проецировать время передачи данных по сети.

Используйте следующую таблицу, чтобы оценить время и на основе этого, выберите между автономной передачей или через сетевую передачу. В таблице показано прогнозное время передачи сетевых данных для различных доступных сетевых пропускной способности (при условии использования 90%).

• Если сетевая передача будет слишком медленной, следует использовать физическое устройство. Рекомендуемые варианты в этом случае — это автономные устройства передачи из семейства Azure Data Box или импорта и экспорта Azure с помощью собственных дисков.

  • Семейство Azure Data Box для автономной передачи — используйте устройства, предоставляемые Корпорацией Майкрософт, для перемещения больших объемов данных в Azure при ограничении по времени, доступности сети или затрат. Копируйте локальные данные с помощью специальных средств, таких как Robocopy. В зависимости от размера данных, предназначенных для передачи, можно выбрать Диск Data Box, Data Box или Data Box Heavy.
  • Импорт и экспорт Azure — используйте службу импорта и экспорта Azure, отправив собственные диски, чтобы безопасно импортировать большие объемы данных в хранилище BLOB-объектов Azure и файлы Azure. Кроме того, эту службу можно использовать, чтобы переносить данные из хранилища BLOB-объектов Azure на диски и передавать на локальные сайты.

• Если сетевая передача будет разумной, можно использовать любой из следующих средств, подробно описанных в разделе "Высокая пропускная способность сети".

Высокая пропускная способность сети (от 1 до 100 Гбит/с)

Если доступная пропускная способность сети высока, используйте один из следующих средств.

• AzCopy — используйте это средство командной строки, чтобы легко копировать данные в Azure Blob, файлы и табличное хранилище с оптимальной производительностью. AzCopy поддерживает параллелизм и возможность возобновить операции копирования в случае сбоя.
• REST API и пакеты SDK службы хранилища Azure . При создании приложения вы можете разрабатывать приложение для REST API службы хранилища Azure и использовать пакеты SDK Azure, предлагаемые на нескольких языках.
• Семейство Azure Data Box для передачи через Интернет — Шлюз Azure Stack Edge и Data Box — это сетевые устройства, которые могут перемещать данные в Azure и из него. Используйте физическое устройство Azure Stack Edge, если перед отправкой данных требуется одновременный прием и предварительная обработка данных. Шлюз Data Box — виртуальная версия устройства с теми же возможностями передачи данных. В каждом из этих вариантов передача данных осуществляется устройством.
• Фабрика данных Azure — фабрика данных должна использоваться для горизонтального масштабирования операции передачи, а также при наличии необходимости в оркестрации и возможностях мониторинга корпоративного уровня. Используйте Фабрику данных для регулярной передачи файлов между несколькими службами Azure и (или) локальными расположениями в любом сочетании. С помощью Фабрики данных можно создавать и включать в расписание управляемые данными рабочие процессы (конвейеры), которые принимают данные из разнородных хранилищ и автоматизируют перемещение и преобразование данных.

Сравнение основных возможностей

В следующих таблицах приведены различия в ключевых возможностях рекомендуемых параметров.

Средняя пропускная способность сети

При использовании автономной передачи данных используйте следующую таблицу для понимания различий в ключевых возможностях.

* Диск Data Box не поддерживает большие общие папки и не сохраняет метаданные файла

При использовании передачи данных через Интернет используйте таблицу в следующем разделе для высокой пропускной способности сети.

Высокая пропускная способность сети

Дальнейшие шаги

• Узнайте, как передавать данные с помощью импорта и экспорта.

• Узнайте, как:

  • Передача данных с помощью диска Data Box.
  • Передача данных с помощью Data Box.
  • Передача данных с помощью AzCopy.
  • Передача данных с помощью шлюза Data Box.
  • Преобразуйте данные с помощью Azure Stack Edge перед отправкой в Azure.

• Узнайте, как передавать данные с помощью фабрики данных Azure.

• Используйте ИНТЕРФЕЙСы REST API для передачи данных:

  • в .NET
  • в Java.