Руководство. Копирование данных в хранилище BLOB-объектов Azure Data Box с помощью REST API

В этом руководстве описываются процедуры по подключению к хранилищу BLOB-объектов Azure Data Box через REST API по протоколу HTTP или HTTPS. Рассматриваются также шаги после подключения, необходимые для копирования данных в хранилище BLOB-объектов Data Box.

В этом руководстве описано следующее:

Перед тем как начать, убедитесь в следующем.

1. Вы завершили руководство. Настройка Azure Data Box Heavy.
2. Вы получили устройство Data Box Heavy (состояние заказа на портале — Доставлено).
3. Вы проверили системные требования для хранилища BLOB-объектов Data Box и знакомы с поддерживаемыми версиями API, пакетов SDK и инструментов.
4. У вас есть доступ к главному компьютеру с данными, которые необходимо скопировать в Data Box Heavy. Хост-компьютер должен
   • поддерживаемая операционная система;
   • Компьютер должен быть подключен к высокоскоростной сети. Чтобы ускорить копирование, можно параллельно использовать два подключения 40 GbE (по одному на каждый узел). Если у вас нет доступного подключения на 40 GbE, мы рекомендуем использовать хотя бы два подключения 10 GbE (по одному на каждый узел).
5. Скачайте AzCopy 7.1.0 на главный компьютер. Вы используете AzCopy для копирования данных в хранилище BLOB-объектов Azure Data Box с главного компьютера.

Вы можете подключиться к хранилищу BLOB-объектов Data Box по протоколу HTTP или HTTPS.

• HTTPS — это безопасный и рекомендуемый способ подключения к хранилищу BLOB-объектов Data Box.
• Протокол HTTP используется при подключении через доверенные сети.

Подключение к хранилищу BLOB-объектов Data Box по протоколам HTTP и HTTPS происходит по-разному.

Для подключения к REST API хранилища BLOB-объектов Data Box по протоколу HTTP необходимо выполнить следующие действия:

• добавить IP-адрес устройства и конечную точку службы BLOB-объектов к удаленному узлу;
• настроить стороннее программное обеспечение и проверить подключение.

Каждое из этих действий описано в следующих разделах.

1. Войдите на устройство Data Box. Убедитесь, что оно разблокировано.

   

2. Перейдите к Задать сетевые интерфейсы. Запишите IP-адрес устройства для сетевого интерфейса, используемого для подключения к клиенту.

   

3. Перейдите в пункт меню Подключиться и копировать и щелкните Rest.

   

4. В диалоговом окне Доступ к учетной записи хранения и отправка данных скопируйте конечную точку службы BLOB-объектов.

   

5. Откройте Блокнот от имени администратора, а затем откройте файл hosts, расположенный в C:\Windows\System32\Drivers\etc.

6. Добавьте следующую запись в ваш файл hosts: <device IP address> <Blob service endpoint>

7. Для ссылки используйте следующее изображение. Сохраните файл hosts.

   

Настройте программное обеспечение партнера, чтобы подключиться к клиенту. Для подключения к программному обеспечению партнера обычно требуются следующие сведения (могут отличаться), собранные на странице Подключения и копирования локального веб-интерфейса на предыдущем шаге:

• Storage account name
• Ключ доступа
• Конечная точка службы BLOB-объектов

Чтобы убедиться, что подключение установлено успешно, используйте Обозреватель службы хранилища для подключения к учетной записи внешнего хранилища. Если у вас нет Обозреватель службы хранилища, необходимо скачать и установить.

При первом использовании Обозреватель службы хранилища необходимо выполнить следующие действия:

1. На верхней панели команд перейдите в раздел "Изменить > целевой объект Azure Stack".

   

2. Перезапустите Обозреватель службы хранилища, чтобы изменения вступили в силу.

   

Чтобы подключится к учетной записи хранения и проверить подключения, выполните следующие действия.

1. В Обозревателе службы хранилища откройте диалоговое окно Подключиться к службе хранилища Azure. В диалоговом окне Подключение к службе хранилища Azure выберите Использовать имя и ключ учетной записи хранения.

   

2. Введите ваше Имя учетной записи и Ключ учетной записи (значение ключа 1 на странице Подключиться и копировать в локальном пользовательском веб-интерфейсе). Для домена конечных точек хранилища выберите Другие (ввести ниже) и вставьте конечную точку службы больших двоичных объектов, как показано ниже. Установите флажок для параметра Использовать HTTP только в случае передачи через http. Не устанавливайте этот флажок при использовании https. Выберите Далее.

   

3. Проверьте сведения в диалоговом окне Сводка подключения. Нажмите Подключиться.

   

4. Успешно добавленная учетная запись отображается в левой области Обозревателя службы хранилища, а к ее имени будет добавлен текст (Внешняя, Другая). Щелкните Контейнеры больших двоичных объектов, чтобы просмотреть контейнер.

   

Для подключения к REST API хранилища BLOB-объектов Azure по протоколу HTTP необходимо выполнить следующие действия:

• скачать сертификат на портале Azure;
• импортировать сертификат на клиенте или удаленном узле;
• добавить IP-адрес устройства и конечную точку службы BLOB-объектов к клиенту или удаленному узлу;
• настроить стороннее программное обеспечение и проверить подключение.

Каждое из этих действий описано в следующих разделах.

Скачайте сертификат с помощью портала Azure.

1. Войдите на портал Azure.

2. Перейдите к заказу Data Box и перейдите к общим > сведениям об устройстве.

3. В разделе Учетные данные устройства перейдите к API доступа к устройству. Щелкните элемент Загрузить. Это действие скачивает <имя> заказа.cer файл сертификата. Сохраните этот файл. Этот сертификат следует установить на компьютере клиента или узла, который будет использоваться для подключения к устройству.

   

Для доступа к хранилищу BLOB-объектов Data Box через протокол HTTPS требуется TLS/SSL-сертификат для устройства. Этот сертификат предоставляется клиентскому приложению по-разному в зависимости от приложения, операционной системы и дистрибутива. Некоторые приложения получают доступ к сертификату после его импорта в хранилище сертификатов системы, в других приложениях не используется этот механизм.

В этом разделе описаны особенности доступа к сертификату для некоторых приложений. Дополнительные сведения для других приложений см. в документации по этим приложениям и используемой операционной системе.

Выполните следующие действия, чтобы импортировать файл .cer в корневое хранилище клиента Windows или Linux. В системе Windows для импорта и установки сертификата можно использовать Windows PowerShell или пользовательский интерфейс Windows Server.

1. Запустите сеанс Windows PowerShell от имени администратора.

2. В командной строке введите:

   Import-Certificate -FilePath C:\temp\localuihttps.cer -CertStoreLocation Cert:\LocalMachine\Root
   

1. Щелкните правой кнопкой мыши файл .cer и выберите Установить сертификат. Запустится мастер импорта сертификатов.

2. В качестве Расположения хранилища выберите Локальный компьютер, а затем нажмите кнопку Далее.

   

3. Выберите Поместить все сертификаты в следующее хранилище, затем нажмите кнопку Обзор. Перейдите в корневое хранилище удаленного узла и нажмите кнопку Далее.

   

4. Нажмите кнопку Готово. Появится сообщение о том, что импорт успешно выполнен.

   

Метод импорта сертификата зависит от дистрибутива.

В некоторых дистрибутивах, например Ubuntu и Debian, используется команда update-ca-certificates.

• Переименуйте файл сертификата с кодировкой Base64, чтобы у него было расширение .crt, а затем скопируйте его в расположение /usr/local/share/ca-certificates directory.
• Выполните команду update-ca-certificates.

В последних версиях RHEL, Fedora и CentOS используется команда update-ca-trust.

• Скопируйте файл сертификата в каталог /etc/pki/ca-trust/source/anchors.
• Запустите update-ca-trust.

Дополнительные сведения см. в документации по своему дистрибутиву.

Выполните те же действия для добавления IP-адреса устройства и конечной точки службы BLOB-объектов, что и при подключении по протоколу HTTP.

Выполните шаги для настройки партнерского программного обеспечения, которые вы выполняли при подключении по протоколу HTTP. Единственное отличие — не устанавливайте флажок для использования HTTP.

После подключения к хранилищу BLOB-объектов Data Box можно скопировать данные. Прежде чем копировать данные, ознакомьтесь со следующими моментами.

• При копировании данных убедитесь, что размер данных соответствует ограничениям на размер, указанным в статье об ограничениях для службы хранилища Azure и Data Box Heavy.
• Если данные, отправляемые Data Box Heavy, одновременно отправляются другими приложениями за пределами устройства, это может привести к сбоям заданий отправки и повреждению данных.

В этом руководстве AzCopy используется для копирования данных в хранилище BLOB-объектов Data Box. Вы также можете использовать Обозреватель службы хранилища Azure (если вы предпочитаете средство с графическим пользовательским интерфейсом) или партнерское программное обеспечение для копирования данных.

Процедура копирования включает в себя следующие действия:

• Создание контейнера
• Отправка содержимого папки в хранилище BLOB-объектов Data Box
• Отправка измененных файлов в хранилище BLOB-объектов Data Box

В следующих разделах каждый этап рассматривается более подробно.

Первый шаг — создать контейнер, потому что большие двоичные объекты должны всегда передаваться в контейнер. Контейнеры упорядочивают группы больших двоичных объектов аналогично организации файлов в папках на компьютере. Чтобы создать контейнер больших двоичных объектов, сделайте следующее.

1. Откройте обозреватель службы хранилищ.

2. В левой области разверните учетную запись хранения, в которой собираетесь создать контейнер больших двоичных объектов.

3. Щелкните правой кнопкой мыши Контейнеры больших двоичных объектов и выберите в контекстном меню Создать контейнер BLOB-объектов.

   

4. Под папкой Контейнеры больших двоичных объектов отобразится текстовое поле. Введите имя контейнера больших двоичных объектов. В разделе о создании контейнера и настройке разрешений см. сведения о правилах и ограничениях для именования контейнеров больших двоичных объектов.

5. Нажмите клавишу ВВОД, чтобы создать контейнер больших двоичных объектов, или ESC для отмены. После успешного создания контейнера больших двоичных объектов он отобразится в папке Контейнеры больших двоичных объектов выбранной учетной записи хранения.

   

С помощью AzCopy вы можете передать все файлы из определенной папки в Windows или Linux в хранилище BLOB-объектов. Чтобы передать все большие двоичные объекты, содержащиеся в папке, введите следующую команду AzCopy:

azcopy \
    --source /mnt/myfolder \
    --destination https://data-box-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/files/ \
    --dest-key <key> \
    --recursive

AzCopy /Source:C:\myfolder /Dest:https://data-box-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/files/ /DestKey:<key> /S

Вместо <key> укажите ключ учетной записи. Чтобы получить ключ учетной записи, перейдите к учетной записи хранения на портале Azure. Перейдите к ключам >доступа к параметрам, выберите ключ и вставьте его в команду AzCopy.

Если указанный контейнер назначения не существует, AzCopy создаст его и передаст в него файл. В качестве исходного пути укажите путь к нужному каталогу данных, а в URL-адресе назначения замените data-box-storage-account-name именем учетной записи хранения, связанной с вашим Data Box.

Чтобы рекурсивно передать все содержимое определенного каталога в хранилище больших двоичных объектов, укажите параметр --recursive (для Linux) или /S (для Windows). При запуске с этими параметрами AzCopy передает все вложенные папки и файлы.

Используйте AzCopy для передачи файлов с учетом времени их последнего изменения. Чтобы проверить этот режим, измените или создайте несколько тестовых файлов в исходном каталоге. Чтобы отправить только те файлы, которые обновлены или добавлены, укажите параметр --exclude-older (для Linux) или /XO (для Windows) в команде AzCopy.

Если вы хотите скопировать только те ресурсы, которые существуют в папке источника и отсутствуют в целевой папке, укажите параметры --exclude-older и --exclude-newer (для Linux) или /XO и /XN (для Windows) в команде AzCopy. AzCopy передаст только обновленные данные, учитывая отметки времени файлов.

azcopy \
--source /mnt/myfolder \
--destination https://data-box-heavy-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/files/ \
--dest-key <key> \
--recursive \
--exclude-older

AzCopy /Source:C:\myfolder /Dest:https://data-box-heavy-storage-account-name.blob.device-serial-no.microsoftdatabox.com/container-name/files/ /DestKey:<key> /S /XO

При возникновении ошибки во время копирования или подключения см. статью Troubleshoot issues related to Azure Data Box Blob storage (Устранение неполадок в хранилище BLOB-объектов службы Data Box).

Следующий шаг — подготовка устройства к отправке.

В этом руководстве были освещены следующие темы относительно Azure Data Box.

Перейдите к следующему руководству, чтобы узнать, как отправить свой Data Box обратно в корпорацию Майкрософт.