Руководство: по копированию данных в Azure Data Box Heavy с помощью NFS

В этом руководстве объясняется, как подключиться и скопировать данные с главного компьютера на устройство Azure Data Box Heavy с помощью локального пользовательского веб-интерфейса.

В этом руководстве описано следующее:

Предварительные условия

Перед тем как начать, убедитесь в следующем.

1. Вы завершили руководство: Настройка Azure Data Box Heavy.
2. Вы получили устройство Data Box Heavy (состояние заказа на портале — Доставлено).
3. У вас есть главный компьютер с данными, которые необходимо скопировать в Data Box Heavy. Хост-компьютер должен
   • Запустите поддерживаемую операционную систему.
   • Компьютер должен быть подключен к высокоскоростной сети. Чтобы ускорить копирование, можно параллельно использовать два подключения 40 GbE (по одному на каждый узел). Если у вас нет доступного подключения на 40 GbE, мы рекомендуем использовать хотя бы два подключения 10 GbE (по одному на каждый узел).

Подключитесь к Data Box Heavy

В зависимости от выбранной учетной записи хранения Data Box Heavy может создать до:

• До трех разделов для каждой связанной учетной записи хранения типа GPv1 и GPv2.
• Одна доля для хранилища класса Premium.
• Одна общая папка для учетной записи хранения BLOB-объектов.

Эти общие папки создаются на обоих узлах устройства.

В областях блочных и страничных BLOB-объектов:

• сущности первого уровня являются контейнерами;
• Сущности второго уровня являются BLOB-ами.

Общие папки для файлов Azure:

• сущности первого уровня являются акциями.
• сущности второго уровня являются файлами.

В следующей таблице приведен UNC-путь к общим папкам на вашем устройстве Data Box Heavy и URL-адрес пути к хранилищу Azure, куда загружаются данные. Конечный URL-адрес службы хранилища Azure может быть производным от UNC-пути к общей папке.

Если вы используете главный компьютер с ОС Linux, то выполните указанные ниже действия, чтобы настроить устройство для доступа к NFS-клиентам.

1. Укажите IP-адреса клиентов, которым разрешен доступ к общей папке. В локальном пользовательском веб-интерфейсе перейдите на страницу Подключение и копирование. В разделе Параметры NFS щелкните Клиентский доступ NFS.

   

2. Укажите IP-адрес NFS-клиента и щелкните Добавить. Вы можете настроить доступ для нескольких NFS-клиентов, выполнив это действие для каждого клиента. Щелкните OK.

   

3. Убедитесь, что на главном компьютере с ОС Linux установлен NFS-клиент поддерживаемой версии. Используйте версию, подходящую для используемого вами дистрибутива ОС Linux.

4. После установки NFS-клиента подключите общую папку NFS на устройстве Data Box, выполнив указанную ниже команду.

   sudo mount <Data Box Heavy device IP>:/<NFS share on Data Box Heavy device> <Path to the folder on local Linux computer>

   В примере ниже показано, как подключиться к общей папке Data Box Heavy через NFS. IP-адрес устройства Data Box Heavy — 10.161.23.130, общая папка Mystoracct_Blob подключена в виртуальной машине ubuntuVM, а точка подключения называется /home/databoxheavyubuntuhost/databoxheavy.

   sudo mount -t nfs 10.161.23.130:/Mystoracct_Blob /home/databoxheavyubuntuhost/databoxheavy

   Для клиентов Mac необходимо добавить дополнительный параметр следующим образом:

   sudo mount -t nfs -o sec=sys,resvport 10.161.23.130:/Mystoracct_Blob /home/databoxheavyubuntuhost/databoxheavy

   Всегда создавайте папку для файлов, которые вы намерены скопировать, в общем ресурсе, а затем копируйте файлы в эту папку. Папка, созданная в общих ресурсах блочных и страничных BLOB-объектов, представляет собой контейнер, в который загружаются данные в виде BLOB-объектов. Вы не можете копировать файлы напрямую в корневую папку в учетной записи хранения.

Копирование данных в Data Box Heavy.

После подключения к общим папкам Data Box Heavy следующим шагом будет копирование данных. Прежде чем начать копирование данных, ознакомьтесь со следующими моментами.

• Убедитесь, что копируете данные в сетевые ресурсы, соответствующие правильному формату данных. Например, данные блочного BLOB-объекта необходимо копировать в общую папку для блочных BLOB-объектов. Скопируйте виртуальные жесткие диски в страничные BLOB-объекты. Если формат данных не соответствует подходящему типу хранилища, то в дальнейшем загрузка данных в Azure не удастся.

• При копировании данных убедитесь, что размер данных соответствует ограничениям на размер, указанным в статье об ограничениях для службы хранилища Azure и Data Box Heavy.

• Если данные, отправляемые Data Box Heavy, одновременно отправляются другими приложениями за пределами устройства, это может привести к сбоям заданий отправки и повреждению данных.

• Рекомендуем не использовать протоколы SMB и NFS одновременно либо копировать одни и те же данные в одно и то же конечное расположение в Azure. В таких случаях невозможно предсказать окончательный результат.

• Всегда создавайте папку для файлов, которые вы собираетесь скопировать, в общей директории, а затем копируйте файлы в эту папку. Папка, созданная в общих блоках BLOB и страницах BLOB, представляет собой контейнер, в который загружаются данные в виде объектов BLOB. Вы не можете копировать файлы напрямую в корневую папку в учетной записи хранения.

• При приеме имен каталогов и файлов с учетом регистра из общей папки NFS в NFS на устройстве Data Box Heavy:

  • Различия в регистре сохраняются в имени.
  • регистр в файлах не учитывается.

  Например, при копировании SampleFile.txt и Samplefile.Txt на устройство регистр в имени сохранится, но второй файл перезапишет первый, так как они считаются одним и тем же файлом.

Если у вас главный компьютер с ОС Linux, используйте программу копирования, аналогичную Robocopy. Вот некоторые программы, доступные в ОС Linux: rsync, FreeFileSync, Unison, Ultracopier.

Команда cp — один из лучших способов копировать каталоги. Дополнительные сведения об использовании см. на страницах руководства по cp.

При копировании при помощи rsync с использованием нескольких потоков следуйте указанным ниже рекомендациям.

• Установите пакет CIFS Utils или NFS Utils (в зависимости от того, какая файловая система используется в клиенте с ОС Linux).

  sudo apt-get install cifs-utils

  sudo apt-get install nfs-utils

• Установите программу Rsync и Parallel (в зависимости от версии используемого дистрибутива ОС Linux).

  sudo apt-get install rsync

  sudo apt-get install parallel

• Создайте точку подключения.

  sudo mkdir /mnt/databoxheavy

• Подключите том.

  sudo mount -t NFS4 //Databox-heavy-IP-Address/share_name /mnt/databoxheavy

• Сделайте зеркальное отражение структуры каталогов.

  rsync -za --include='*/' --exclude='*' /local_path/ /mnt/databoxheavy

• Скопируйте файлы.

  cd /local_path/; find -L . -type f | parallel -j X rsync -za {} /mnt/databoxheavy/{}

  здесь j — количество случаев распараллеливания, а X — количество параллельных копий

  Рекомендуем начать работу с 16 параллельных копий и увеличить количество потоков в зависимости от доступных ресурсов.

Откройте папку назначения для просмотра и проверки скопированных файлов. Если в процессе копирования возникли ошибки, скачайте файл с ошибками для устранения неполадок. См. подробнее о просмотре журналов ошибок во время копирования данных в Data Box Heavy. См. подробный список ошибок во время копирования данных в руководстве по устранению неполадок с Azure Data Box Heavy.

Чтобы обеспечить целостность данных, при копировании данных вычисляется их контрольная сумма. По завершении копирования проверьте использованное и свободное место на устройстве.

Следующие шаги

Из этого руководства вы узнали следующие сведения об Azure Data Box Heavy:

Перейдите к следующему руководству, чтобы узнать, как отправить свой Data Box обратно в корпорацию Майкрософт.