Руководство по копированию данных в Azure Data Box Heavy с помощью SMB

Статья
2024-04-04

Копирование данных на Azure Data Box Heavy

Это важно

Azure Data Box теперь поддерживает назначение уровня доступа на уровне BLOB. Шаги, описанные в этом руководстве, отражают обновленный процесс копирования данных и специфичны для блочных BLOB-объектов.

Сведения, содержащиеся в этом разделе, относятся к заказам, размещенным после 1 апреля 2024 года.

В этом руководстве объясняется, как подключиться к главному компьютеру и скопировать данные с него с помощью локального пользовательского веб-интерфейса.

В этом руководстве описано, как:

Подключитесь к Azure Data Box Heavy.
Копирование данных на Data Box Heavy.

Данные можно скопировать с исходного сервера в Data Box с помощью SMB, NFS, REST, службы копирования данных или же скопировать их на управляемые диски.

В каждом случае убедитесь, что имена общих папок, имена папок и размер данных соответствуют рекомендациям, описанным в ограничениях службы хранилища Azure и Data Box Heavy.

Предпосылки

Перед тем как начать, убедитесь в следующем.

Вы завершили руководство: Настройка Azure Data Box Heavy.
Вы получаете свой Data Box Heavy, и статус заказа на портале указывается как доставлено.
У вас есть главный компьютер с данными, которые необходимо скопировать в Data Box Heavy. Ваш хост-компьютер должен соответствовать следующим требованиям:
- Запустите поддерживаемую операционную систему.
- Компьютер должен быть подключен к высокоскоростной сети. Чтобы ускорить копирование, можно параллельно использовать два подключения 40 GbE (по одному на каждый узел). Если у вас нет доступного подключения на 40 GbE, мы рекомендуем использовать хотя бы два подключения 10 GbE (по одному на каждый узел).

Подключение к общим папкам Data Box Heavy

В зависимости от выбранной учетной записи хранения, Data Box Heavy создает до:

Три доли для каждой связанной учетной записи хранения для GPv1 и GPv2.
Одна доля для хранилища класса Premium.
Одна общая папка для учетной записи хранения BLOB-объектов, содержащая одну папку для каждого из четырех уровней доступа.

В следующей таблице указаны имена общих папок Data Box, к которым можно подключиться, и тип данных, загружаемых в целевой аккаунт хранения. Он также определяет иерархию общих папок и каталогов, в которые копируются исходные данные.

Тип хранилища	Имя сетевого ресурса	Сущность первого уровня	Сущность второго уровня	Сущность третьего уровня
Блочный объект BLOB	<storageAccountName>_BlockBlob	<\уровень_доступа>	<\containerName>	<\blockBlob>
Постраничный блоб	<\storageAccountName>_PageBlob	<\containerName>	<\pageBlob>
Хранилище файлов	<\storageAccountName>_AzFile	<\fileShareName>	<\файл>

Файлы нельзя копировать непосредственно в корневую папку какого-либо общего ресурса Data Box. Вместо этого создайте папки в общей папке Data Box в зависимости от варианта использования.

Блочные блобы поддерживают присвоение уровней доступа на уровне файла. При копировании файлов в облако блочных BLOB-объектов рекомендуется добавлять новые вложенные папки в соответствующий уровень доступа. После создания новых вложенных папок продолжайте добавлять файлы в каждую вложенную папку соответствующим образом.

Новый контейнер создается для любой папки, находящейся в корневом каталоге области блочных BLOB-объектов. Любой файл в этой папке копируется на уровень доступа по умолчанию учетной записи хранения в виде блочного объекта BLOB.

Дополнительные сведения о уровнях доступа к BLOB-объектам см. в разделе "Уровни доступа" для данных BLOB-объектов. Для более подробной информации о лучших практиках работы с уровнями доступа см. раздел Лучшие практики использования уровней доступа к BLOB-объектам.

В следующей таблице показан путь UNC к общим папкам в «Data Box» и соответствующий URL-адрес пути в хранилище Azure, в который загружаются данные. Конечный URL-адрес пути хранилища Azure может быть определён на основе пути к общей папке UNC.

Типы служб хранилища Azure	Общие ресурсы Data Box
Блочные блобы Azure	UNC-путь к общим папкам: `\\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txt` URL-адрес службы хранилища Azure: `https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt`
Страничные BLOB-объекты Azure	UNC-путь к общим папкам: `\\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhd` URL-адрес службы хранилища Azure: `https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd`
Файлы Azure	UNC-путь к общим папкам: `\\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txt` URL-адрес службы хранилища Azure: `https://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt`

Действия по подключению с помощью windows или клиента Linux отличаются.

Примечание.

Выполните те же действия, чтобы подключиться к обоим узлам устройства параллельно.

Подключение к системе Windows

Если вы используете главный компьютер с Windows Server, для подключения к Data Box Heavy выполните указанные ниже действия.

В первую очередь необходимо выполнить проверку подлинности и начать сеанс. Перейдите на страницу Подключение и копирование. Нажмите «Получить учетные данные», чтобы получить учетные данные для доступа к общим папкам, связанным с вашей учетной записью хранения.
В диалоговом окне "Доступ к общей папке и копирование данных" скопируйте имя пользователя и пароль, соответствующие необходимой общей папке. Нажмите кнопку ОК.
Чтобы получить доступ к общим папкам, связанным с учетной записью хранения (databoxe2etest в следующем примере), откройте окно командной строки. В командной строке введите:

net use \\<IP address of the device>\<share name> /u:<user name for the share>

В зависимости от формата ваших данных, пути к общей папке могут быть следующими:
- Блочный Blob-объект Azure — \\10.100.10.100\databoxe2etest_BlockBlob.
- Страничный BLOB-объект Azure — \\10.100.10.100\databoxe2etest_PageBlob.
- Файлы Azure — \\10.100.10.100\databoxe2etest_AzFile.
Когда вас попросят, введите пароль для доступа к ресурсу. Следующий пример можно использовать для подключения к общей папке BlockBlob в Data Box с IP-адресом 10.100.100.100.
```
net use \\10.100.10.100\databoxe2etest_BlockBlob /u:databoxe2etest
Enter the password for 'databoxe2etest' to connect to '10.100.10.100':
The command completed successfully.
```
Нажмите клавиши WINDOWS+R. В окне Выполнить введите \\<device IP address>. Нажмите кнопку ОК, чтобы открыть проводник.

Теперь вы должны видеть общие ресурсы в виде папок. Обратите внимание, что в этом примере используется область общего доступа BlockBlob. Соответственно, существуют четыре папки, представляющие четыре доступных уровня доступа. Эти папки недоступны в других общих папках.

Всегда создавайте папку для файлов, которые вы собираетесь скопировать в общий доступ, а затем копируйте файлы в эту папку. Файлы нельзя копировать непосредственно в корневую папку в учетной записи хранения. Все папки, созданные в общей папке PageBlob , представляют контейнеры, в которые передаются данные в виде BLOB-объектов. Аналогичным образом, любые вложенные папки, созданные в папках, представляющих уровни доступа, в общей папке BlockBlob, также представляют контейнер хранилища объектов BLOB. Папки, созданные в общей папке AzFile , представляют общие папки.

Папки, созданные в корне общей папки BlockBlob, будут созданы как контейнеры BLOB-объектов. Уровень доступа этих контейнеров наследуется от учетной записи хранения.

Подключение к системе Linux

Если вы используете клиент Linux, подключите общий ресурс SMB с помощью следующей команды.

sudo mount -t nfs -o vers=2.1 10.126.76.172:/databoxe2etest_BlockBlob /home/databoxubuntuhost/databox

Параметр vers — это версия SMB, которую поддерживает узел Linux. Подключите соответствующую версию в приведенной выше команде.

Сведения о версиях SMB, поддерживаемых Data Box Heavy, см. в статье "Поддерживаемые файловые системы для клиентов Linux".

Копирование данных в Data Box Heavy.

После подключения к сетевым хранилищам Data Box Heavy следующим шагом будет копирование данных.

Соображения по копированию

Прежде чем начать копирование данных, ознакомьтесь со следующими моментами.

Убедитесь, что данные копируются в общие папки, соответствующие соответствующему формату данных. Например, данные блочного BLOB-объекта следует копировать в общее хранилище для блочных BLOB-объектов. Скопируйте виртуальные жесткие диски в страничный BLOB-объект.

Если формат данных не соответствует соответствующему типу общего ресурса, то на следующем шаге отправка данных в Azure завершится ошибкой.
При копировании данных убедитесь, что размер данных соответствует ограничениям размера, описанным в хранилище Azure и ограничениях Data Box Heavy.
Если данные, отправляемые Data Box Heavy, одновременно отправляются другими приложениями за пределами устройства, это может привести к сбоям заданий отправки и повреждению данных.
Мы рекомендуем следующее:
- Вы не используете одновременно и SMB, и NFS.
- Скопируйте те же данные в то же конечное место назначения в Azure.
В таких случаях невозможно предсказать окончательный результат.
Всегда создайте папку для файлов, которые планируется скопировать в общую папку, а затем скопируйте их в эту папку. Папка, созданная в блочных и страничных BLOB-объектах, представляет собой контейнер, в который загружаются данные в виде BLOB-объектов. Вы не можете копировать файлы напрямую в корневую папку в учетной записи хранения.

После подключения к общей папке SMB запустите копирование данных.

Кроме того, для копирования данных можно использовать любое средство для копирования файлов, совместимое с протоколом SMB, например Robocopy. С помощью средства Robocopy можно запустить несколько заданий копирования. Используйте следующую команду:

robocopy <Source> <Target> * /e /r:3 /w:60 /is /nfl /ndl /np /MT:32 or 64 /fft /Log+:<LogFile>

Атрибуты команды описаны в таблице ниже.

Атрибут	Описание
/e	Копирует подкаталоги, включая пустые каталоги.
/r:	Указание количества повторных попыток для неудавшихся копий.
/w:	Указание времени ожидания между повторными попытками в секундах.
/is	Включает одни и те же файлы.
/nfl	Указывает, что имена файлов не регистрируются.
/ndl	Указывает, что имена каталогов не регистрируются.
/np	Указывает, что ход выполнения операции копирования (количество файлов или каталогов, скопированных до сих пор) не будет отображаться. Отображение хода выполнения значительно снижает производительность.
/MT	Использование многопоточности; рекомендуется использовать 32 или 64 потока. Этот параметр не используется при работе с зашифрованными файлами. Возможно, потребуется разделить зашифрованные и незашифрованные файлы. Копирование в однопоточном режиме значительно снижает производительность.
/fft	Используется для уменьшения степени детализации меток времени при работе с любыми файловыми системами.
/b	Копирует файлы в режиме резервного копирования.
/z	Копирует файлы в режиме перезапуска, используйте его, если среда нестабильна. Этот параметр уменьшает пропускную способность из-за внесения дополнительных сведений в журналы.
/zb	Использует режим перезапуска. Если доступ запрещен, то для этого параметра используется режим резервного копирования. Этот параметр уменьшает пропускную способность из-за создания контрольных точек.
/efsraw	Копирует все зашифрованные файлы в необработанном режиме EFS. Используется только при работе с зашифрованными файлами.
log+:<LogFile>	Добавление выходных данных в существующий файл журнала.

В следующем примере показаны выходные данные команды robocopy для копирования файлов в Data Box Heavy.

C:\Users>Robocopy C:\Git\azure-docs-pr\contributor-guide \\10.100.10.100\devicemanagertest1_AzFile\templates /MT:24
-------------------------------------------------------------------------------
    ROBOCOPY     ::     Robust File Copy for Windows
-------------------------------------------------------------------------------
    Started : Thursday, April 4, 2019 2:34:58 PM
    Source : C:\Git\azure-docs-pr\contributor-guide\
    Dest : \\10.100.10.100\devicemanagertest1_AzFile\templates\
    Files : *.*
    Options : *.* /DCOPY:DA /COPY:DAT /MT:24 /R:5 /W:60
------------------------------------------------------------------------------

100%        New File                 206        C:\Git\azure-docs-pr\contributor-guide\article-metadata.md
100%        New File                 209        C:\Git\azure-docs-pr\contributor-guide\content-channel-guidance.md
100%        New File                 732        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-index.md
100%        New File                 199        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pr-criteria.md
            New File                 178        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-co100%  .md
            New File                 250        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-et100%  e.md
100%        New File                 174        C:\Git\azure-docs-pr\contributor-guide\create-images-markdown.md
100%        New File                 197        C:\Git\azure-docs-pr\contributor-guide\create-links-markdown.md
100%        New File                 184        C:\Git\azure-docs-pr\contributor-guide\create-tables-markdown.md
100%        New File                 208        C:\Git\azure-docs-pr\contributor-guide\custom-markdown-extensions.md
100%        New File                 210        C:\Git\azure-docs-pr\contributor-guide\file-names-and-locations.md
100%        New File                 234        C:\Git\azure-docs-pr\contributor-guide\git-commands-for-master.md
100%        New File                 186        C:\Git\azure-docs-pr\contributor-guide\release-branches.md
100%        New File                 240        C:\Git\azure-docs-pr\contributor-guide\retire-or-rename-an-article.md
100%        New File                 215        C:\Git\azure-docs-pr\contributor-guide\style-and-voice.md
100%        New File                 212        C:\Git\azure-docs-pr\contributor-guide\syntax-highlighting-markdown.md
100%        New File                 207        C:\Git\azure-docs-pr\contributor-guide\tools-and-setup.md
------------------------------------------------------------------------------

                Total    Copied   Skipped  Mismatch    FAILED    Extras
    Dirs :         1         1         1         0         0         0
    Files :        17        17         0         0         0         0
    Bytes :     3.9 k     3.9 k         0         0         0         0          
C:\Users>

Чтобы оптимизировать производительность, при копировании данных используйте указанные ниже параметры robocopy. (Приведенные ниже числа представляют лучшие сценарии.)

Платформа	В основном небольшие файлы < 512 КБ	Главным образом файлы среднего размера (от 512 КБ до 1 МБ)	В основном большие файлы > 1 МБ
Тяжелый ящик данных	6 сеансов Robocopy 24 потока в сеансе	6 сеансов Robocopy 16 потоков в сессию	6 сеансов Robocopy 16 потоков на один сеанс

Дополнительные сведения о команде Robocopy см. в статье Robocopy и несколько примеров.

Откройте папку назначения для просмотра и проверки скопированных файлов.
Как копируются данные:
- Имена файлов, размеры и формат проверяются, чтобы обеспечить соответствие требованиям ограничений для объектов Azure и хранилища, а также соглашений об именовании файлов и контейнеров Azure.
- Чтобы обеспечить целостность данных, контрольная сумма также вычисляется встроенным образом.
Если в процессе копирования возникли ошибки, скачайте файл с ошибками для устранения неполадок. Щелкните значок со стрелкой, чтобы скачать файлы ошибок.

См. подробнее о просмотре журналов ошибок во время копирования данных в Data Box Heavy. Для получения подробного списка ошибок при копировании данных обратитесь к разделу Устранение неполадок с Data Box Heavy.
Откройте файл ошибки в Блокноте. Следующий файл ошибки указывает, что данные не выровнены правильно.

Для блоба типа Page данные должны быть выровнены по 512 байтам. После удаления этих данных ошибка устраняется, как показано на следующем снимке экрана.
После завершения копирования перейдите на страницу "Просмотр панели мониторинга ". Проверьте используемое пространство и свободное место на устройстве.

Повторите описанные выше действия, чтобы скопировать данные на второй узел устройства.

Дальнейшие действия

Из этого руководства вы узнали следующие сведения об Azure Data Box Heavy:

Подключитесь к Data Box Heavy.
Копирование данных на Data Box Heavy.

Перейдите к следующему руководству, чтобы узнать, как отправить Data Box Heavy обратно в Microsoft.

Отправьте Azure Data Box Heavy в Майкрософт

копировать данные по протоколу SMB;

При использовании узла Windows подключитесь к общим папкам SMB с помощью такой команды:

\\<IP address of your device>\ShareName
Учетные данные для доступа к общему хранилищу можно получить на странице Connect & Copy в локальном пользовательском веб-интерфейсе для Data Box.
Для копирования данных в общие папки можно использовать любое средство копирования файлов, совместимое с протоколом SMB, например Robocopy.

Пошаговые инструкции см. в руководстве по копированию данных в Azure Data Box с помощью SMB.

копировать данные по протоколу NFS.

При использовании узла NFS используйте следующую команду для подключения общих папок NFS:

sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>
Чтобы получить учетные данные общего доступа, перейдите на страницу "Подключение и копирование " в локальном веб-интерфейсе Data Box Heavy.
Используйте команду cp или rsync для копирования данных.
Повторите эти действия, чтобы подключить и скопировать данные во второй узел Data Box Heavy.

Пошаговые инструкции см. в руководстве по копированию данных в Azure Data Box с помощью NFS.

Копирование данных с помощью REST

Чтобы скопировать данные, используя хранилище BLOB-объектов Data Box и интерфейсы REST API, выполните подключение по протоколу HTTP или HTTPS.
Для копирования данных в хранилище Blob службы Data Box можно использовать AzCopy.
Повторите эти действия, чтобы подключить и скопировать данные во второй узел Data Box Heavy.

Пошаговые инструкции см. в руководстве по копированию данных в хранилище BLOB-объектов Azure Data Box с помощью REST API.

Копирование данных с помощью службы копирования данных

Чтобы скопировать данные с помощью службы копирования данных, необходимо создать задание. В локальном веб-интерфейсе Data Box Heavy перейдите к разделу Управление > Копирование данных > Создание.
Укажите параметры и создайте задание.
Повторите эти действия, чтобы подключить и скопировать данные во второй узел Data Box Heavy.

Пошаговые инструкции см. в руководстве. Использование службы копирования данных для копирования данных в Azure Data Box Heavy.

Копирование данных на управляемые диски

При заказе устройства Data Box Heavy необходимо выбрать управляемые диски в качестве назначения хранилища.
Вы можете подключиться к Data Box Heavy с помощью общих папок SMB или NFS.
Затем можно скопировать данные с помощью средств SMB или NFS.
Повторите эти действия, чтобы подключить и скопировать данные во второй узел Data Box Heavy.

Пошаговые инструкции см. в руководстве. Использование Data Box Heavy для импорта данных в качестве управляемых дисков в Azure.