Подготовка жестких дисков для задания импорта

Средство WAImportExport — это средство подготовки диска и восстановления, которое можно использовать с службой импорта и экспорта Microsoft Azure. Это средство можно использовать для копирования данных на жесткие диски, которые вы собираетесь отправить в центр обработки данных Azure. После завершения задания импорта вы можете использовать это средство для восстановления всех объектов данных, которые были повреждены, отсутствуют или конфликтуют с другими объектами данных. Получив диски из завершенного задания экспорта, вы можете использовать это средство для восстановления всех файлов, которые были повреждены или отсутствуют на дисках. В этой статье мы рассмотрим использование этого средства.

Предпосылки

Требования к WAImportExport.exe

• Конфигурация компьютера
  • Windows 7, Windows Server 2008 R2 или более новая операционная система Windows
  • Необходимо установить .NET Framework 4. Ознакомьтесь с часто задаваемыми вопросами о том, как проверить, установлена ли платформа .NET Framework на компьютере.
• Ключ учетной записи хранения . Для учетной записи хранения требуется по крайней мере один из ключей учетной записи хранения.

Подготовка диска к заданию импорта

• BitLocker — BitLocker должен быть включен на компьютере под управлением средства WAImportExport. Ознакомьтесь с часто задаваемыми вопросами о включении BitLocker.
• Диски, доступные на компьютере, на котором выполняется средство WAImportExport. См. вопросы и ответы по спецификации диска.
• Исходные файлы — файлы, которые вы планируете импортировать, должны быть доступны на компьютере копирования, независимо от того, находятся ли они на сетевом ресурсе или локальном жестком диске.

Исправление частично проваленной задачи импорта

• Скопируйте файл журнала, который создается службой импорта и экспорта Azure при копировании данных между учетной записью хранения и диском. Он расположен в вашем целевом хранилище.

Восстановление частично неудачного задания экспорта

• Скопируйте файл журнала, который создается, когда служба импорта и экспорта Azure копирует данные между учетной записью хранилища и диском. Он находится в вашей исходной учетной записи хранения.
• Файл манифеста — [необязательно], расположенный на экспортируемом диске, возвращенном корпорацией Майкрософт.

Скачивание и установка WAImportExport

Скачайте последнюю версию WAImportExport.exe. Извлеките архивное содержимое в папку на компьютере.

Следующая задача — создать CSV-файлы.

Подготовка CSV-файла набора данных

Что такое набор данных в формате CSV-файл

CSV-файл набора данных — это значение флага /dataset — это CSV-файл, содержащий список каталогов и (или) список файлов, которые нужно скопировать на целевые диски. Первым шагом к созданию задания импорта является определение каталогов и файлов, которые вы собираетесь импортировать. Это может быть список каталогов, список уникальных файлов или сочетание этих двух. Если каталог включен, все файлы в каталоге и его подкаталогах будут частью задания импорта.

Для каждого импортируемого каталога или файла необходимо определить целевой виртуальный каталог или blob в службе хранилища Blob в Azure. Эти целевые объекты будут использоваться в качестве входных данных в инструмент WAImportExport. Каталоги должны быть разделены символом косой черты "/".

В следующей таблице показаны некоторые примеры BLOB-целей:

Пример dataset.csv

BasePath,DstBlobPathOrPrefix,BlobType,Disposition,MetadataFile,PropertiesFile
"F:\50M_original\100M_1.csv.txt","containername/100M_1.csv.txt",BlockBlob,rename,"None",None
"F:\50M_original\","containername/",BlockBlob,rename,"None",None

Поля набора данных CSV-файла

Подготовка CSV-файла InitialDriveSet или AdditionalDriveSet

Что такое driveset CSV

Значение флага /InitialDriveSet или /AdditionalDriveSet — это CSV-файл, содержащий список дисков, с которыми сопоставляются буквы диска, чтобы средство правильно выбрало список дисков, которые нужно подготовить. Если размер данных больше размера одного диска, средство WAImportExport распределяет данные по нескольким дискам, указанным в этом CSV-файле, в оптимизированном виде.

Количество дисков, на которые можно записать данные в одном сеансе, не ограничено. Средство распределяет данные на основе размера диска и размера папки. Он выберет диск, наиболее оптимизированный для размера объекта. Данные при отправке в учетную запись хранения будут конвергентированы обратно в структуру каталогов, указанную в файле набора данных. Чтобы создать CSV-файл набора дисков, выполните приведенные ниже действия.

Создание базового тома и назначение буквы диска

Чтобы создать базовый том и назначить букву диска, выполните инструкции по созданию простейшего раздела, приведенные в Обзоре управления дисками.

Пример CSV-файла InitialDriveSet и AdditionalDriveSet

DriveLetter,FormatOption,SilentOrPromptOnFormat,Encryption,ExistingBitLockerKey
G,AlreadyFormatted,SilentMode,AlreadyEncrypted,060456-014509-132033-080300-252615-584177-672089-411631
H,Format,SilentMode,Encrypt,

Поля CSV-файла комплекта дисков

Подготовка диска к заданию импорта

Чтобы подготовить диски к заданию импорта, вызовите средство WAImportExport с помощью команды PrepImport . Какие параметры включаются, зависят от того, является ли это первый сеанс копирования или последующий сеанс копирования.

Первый сеанс

Первый сеанс копирования, при котором один или несколько каталогов копируются на один или несколько дисков (в зависимости от указаний в CSV-файле). Команда prepImport из инструмента WAImportExport используется для первого сеанса копирования, чтобы скопировать каталоги и/или файлы, открыв новый сеанс копирования.

WAImportExport.exe PrepImport /j:<JournalFile> /id:<SessionId> [/logdir:<LogDirectory>] [/sk:<StorageAccountKey>] [/silentmode] [/InitialDriveSet:<driveset.csv>] /DataSet:<dataset.csv>

Пример:

WAImportExport.exe PrepImport /j:JournalTest.jrn /id:session#1  /sk:\*\*\*\*\*\*\*\*\*\*\*\*\* /InitialDriveSet:driveset-1.csv /DataSet:dataset-1.csv /logdir:F:\logs

Добавьте данные в следующий сеанс

В последующих сеансах копирования не нужно указывать начальные параметры. Чтобы инструмент вспомнил, где он остановился в предыдущем сеансе, необходимо использовать тот же файл журнала. Состояние сеанса копирования записывается в файл журнала. Ниже приведен синтаксис для последующего сеанса копирования для копирования дополнительных каталогов и файлов:

WAImportExport.exe PrepImport /j:<SameJournalFile> /id:<DifferentSessionId>  [DataSet:<differentdataset.csv>]

Пример:

WAImportExport.exe PrepImport /j:JournalTest.jrn /id:session#2  /DataSet:dataset-2.csv

Добавление дисков в последний сеанс

Если данные не помещались в указанные диски в InitialDriveset, можно использовать средство для добавления дополнительных дисков в тот же сеанс копирования.

WAImportExport.exe PrepImport /j:<SameJournalFile> /id:<SameSessionId> /AdditionalDriveSet:<newdriveset.csv>

Пример:

WAImportExport.exe PrepImport /j:SameJournalTest.jrn /id:session#2  /AdditionalDriveSet:driveset-2.csv

Прервать последний сеанс:

Если сеанс копирования прерван и невозможно возобновить (например, если исходный каталог оказался недоступным), необходимо прервать текущий сеанс, чтобы его можно было откатить и запустить новые сеансы копирования:

WAImportExport.exe PrepImport /j:<SameJournalFile> /id:<SameSessionId> /AbortSession

Пример:

WAImportExport.exe PrepImport /j:JournalTest.jrn /id:session#2  /AbortSession

Только последний сеанс копирования, если он завершился ненормально, может быть отменён. Обратите внимание, что не удается прервать первый сеанс копирования для диска. Вместо этого необходимо перезапустить сеанс копирования с новым файлом журнала.

Возобновление последнего прерванного сеанса

Если сеанс копирования прерывается по какой-либо причине, его можно возобновить, запустив средство только с указанным файлом журнала:

WAImportExport.exe PrepImport /j:<SameJournalFile> /id:<SameSessionId> /ResumeSession

Пример:

WAImportExport.exe PrepImport /j:JournalTest.jrn /id:session#2 /ResumeSession

Параметры WAImportExport

Результаты инструмента

Пример файла манифеста диска

<?xml version="1.0" encoding="UTF-8"?>
<DriveManifest Version="2011-MM-DD">
   <Drive>
      <DriveId>drive-id</DriveId>
      <StorageAccountKey>storage-account-key</StorageAccountKey>
      <ClientCreator>client-creator</ClientCreator>
      <!-- First Blob List -->
      <BlobList Id="session#1-0">
         <!-- Global properties and metadata that applies to all blobs -->
         <MetadataPath Hash="md5-hash">global-metadata-file-path</MetadataPath>
         <PropertiesPath Hash="md5-hash">global-properties-file-path</PropertiesPath>
         <!-- First Blob -->
         <Blob>
            <BlobPath>blob-path-relative-to-account</BlobPath>
            <FilePath>file-path-relative-to-transfer-disk</FilePath>
            <ClientData>client-data</ClientData>
            <Length>content-length</Length>
            <ImportDisposition>import-disposition</ImportDisposition>
            <!-- page-range-list-or-block-list -->
            <!-- page-range-list -->
            <PageRangeList>
               <PageRange Offset="1073741824" Length="512" Hash="md5-hash" />
               <PageRange Offset="1073741824" Length="512" Hash="md5-hash" />
            </PageRangeList>
            <!-- block-list -->
            <BlockList>
               <Block Offset="1073741824" Length="4194304" Id="block-id" Hash="md5-hash" />
               <Block Offset="1073741824" Length="4194304" Id="block-id" Hash="md5-hash" />
            </BlockList>
            <MetadataPath Hash="md5-hash">metadata-file-path</MetadataPath>
            <PropertiesPath Hash="md5-hash">properties-file-path</PropertiesPath>
         </Blob>
      </BlobList>
   </Drive>
</DriveManifest>

Пример файла журнала (XML) для каждого диска

[BeginUpdateRecord][2016/11/01 21:22:25.379][Type:ActivityRecord]
ActivityId: DriveInfo
DriveState: [BeginValue]
<?xml version="1.0" encoding="UTF-8"?>
<Drive>
   <DriveId>drive-id</DriveId>
   <BitLockerKey>*******</BitLockerKey>
   <ManifestFile>\DriveManifest.xml</ManifestFile>
   <ManifestHash>D863FE44F861AE0DA4DCEAEEFFCCCE68</ManifestHash> </Drive>
[EndValue]
SaveCommandOutput: Completed
[EndUpdateRecord]

Пример файла журнала (JRN) для сеанса, который записывает все действия сеансов

[BeginUpdateRecord][2016/11/02 18:24:14.735][Type:NewJournalFile]
VocabularyVersion: 2013-02-01
[EndUpdateRecord]
[BeginUpdateRecord][2016/11/02 18:24:14.749][Type:ActivityRecord]
ActivityId: PrepImportDriveCommandContext
LogDirectory: F:\logs
[EndUpdateRecord]
[BeginUpdateRecord][2016/11/02 18:24:14.754][Type:ActivityRecord]
ActivityId: PrepImportDriveCommandContext
StorageAccountKey: *******
[EndUpdateRecord]

Вопросы и ответы

Общая информация

Что такое средство WAImportExport?

Средство WAImportExport — это средство подготовки диска и восстановления, которое можно использовать с службой импорта и экспорта Microsoft Azure. Это средство можно использовать для копирования данных на жесткие диски, которые вы собираетесь отправить в центр обработки данных Azure. После завершения задания импорта вы можете использовать это средство для восстановления всех объектов данных, которые были повреждены, отсутствуют или конфликтуют с другими объектами данных. Получив диски из завершенного задания экспорта, вы можете использовать это средство для восстановления всех файлов, которые были повреждены или отсутствуют на дисках.

Как работает инструмент WAImportExport с несколькими исходными каталогами и дисками?

Если размер данных больше размера диска, средство WAImportExport распределяет данные по дискам оптимизированным способом. Копирование данных на несколько дисков можно выполнять параллельно или последовательно. Количество дисков, в которые данные можно записать одновременно, не ограничено. Средство распределяет данные на основе размера диска и размера папки. Он выберет диск, наиболее оптимизированный для размера объекта. Данные при отправке в учетную запись хранения будут конвергентированы обратно в указанную структуру каталогов.

Где можно найти предыдущую версию средства WAImportExport?

Средство WAImportExport имеет все функциональные возможности, которые имели средство WAImportExport V1. Средство WAImportExport позволяет пользователям указывать несколько источников и записывать их на несколько дисков. Кроме того, можно легко управлять несколькими исходными расположениями, из которых данные должны быть скопированы в одном CSV-файле. Однако если вам нужна поддержка SAS или требуется скопировать один источник на один диск, вы можете скачать средство WAImportExport V1 и обратиться к справочнику WAImportExport V1 для справки по использованию WAImportExport V1 .

Что такое идентификатор сеанса?

Средство ожидает, что параметр сеанса копирования (/id) будет одинаковым, если намерение состоит в распространении данных по нескольким дискам. Сохранение того же имени сеанса копирования позволит пользователю копировать данные из одного или нескольких исходных расположений в один или несколько целевых дисков или каталогов. Сохранение того же идентификатора сеанса позволяет инструменту вернуться к копии файлов с того места, где она была остановлена в последний раз.

Однако один и тот же сеанс копирования нельзя использовать для импорта данных в разные учетные записи хранения.

Если имя сеанса копирования совпадает с несколькими запусками средства, файл журнала (/logdir) и ключ учетной записи хранения (/sk) также должны совпадать.

SessionId может состоять из букв, 0~9, подчеркивания (_), дефиса (-) или хэша (#), а его длина должна составлять 3~30.

Например, сеанс-1 или сеанс#1 или session_1

Что такое файл журнала?

При каждом запуске средства WAImportExport для копирования файлов на жесткий диск средство создает сеанс копирования. Состояние сеанса копирования записывается в файл журнала. Если сеанс копирования прерывается (например, из-за потери питания системы), его можно возобновить, снова запустив средство и указав файл журнала в командной строке.

Для каждого жесткого диска, который вы готовите с помощью средства импорта и экспорта Azure, средство создаст один файл журнала с именем "<DriveID>.xml", где идентификатор диска является серийным номером, связанным с диском, которые средство считывает с диска. Для создания задания импорта вам потребуются файлы журнала со всех дисков. Файл журнала также можно использовать для возобновления подготовки диска, если средство прервано.

Что такое каталог логов?

Каталог журнала указывает каталог, используемый для хранения подробных журналов, а также временных файлов манифеста. Если он не указан, текущий каталог будет использоваться в качестве каталога журнала. Логи являются подробными.

Предпосылки

Каковы спецификации диска?

Один или несколько пустых 2,5-дюймовых или 3,5-дюймовых жестких дисков SATAII или III или SSD,подключенных к компьютеру копирования.

Как включить BitLocker на моем компьютере?

Простой способ проверки — щелкнуть правой кнопкой мыши системный диск. В нем отображаются параметры BitLocker, если эта возможность включена. Если он отключен, вы не увидите его.

Ниже приведена статья о том, как включить BitLocker

Возможно, в вашем компьютере отсутствует микросхема доверенного платформенного модуля. Если выходные данные не отображаются с помощью tpm.msc, ознакомьтесь со следующими часто задаваемыми вопросами.

Как отключить доверенный модуль платформы (TPM) в BitLocker?

Чтобы отключить TPM в BitLocker, выполните следующие действия.

1. Запустите редактор групповой политики , введя gpedit.msc в командной строке. Если редактор групповой политики недоступен, начните с включения BitLocker. См. предыдущие вопросы и ответы.
2. Откройте административные шаблоны конфигурации компьютера локальной > политики > компьютеров > Windows Components> BitLocker Для шифрования > дисков операционной системы.
3. Редактировать политику требования дополнительной проверки подлинности при запуске.
4. Установите для политики значение Включено и убедитесь, что параметр Allow BitLocker без совместимого доверенного платформенного модуля отмечен.

Как проверить, установлена ли на компьютере версия .NET 4 или более поздней?

Все версии Microsoft .NET Framework устанавливаются в следующем каталоге: %windir%\Microsoft.NET\Framework\

Перейдите к приведенной выше части на целевом компьютере, где нужно запустить средство. Ищите имя папки, начинающееся с "v4". Отсутствие такого каталога означает, что на компьютере не установлен .NET 4. Вы можете скачать .NET 4 на компьютере с помощью Microsoft .NET Framework 4 (веб-установщика).

Ограничения

Сколько дисков можно одновременно подготовить и отправить?

Количество дисков, которые может подготовить средство, не ограничено. Однако средство ожидает букв диска в качестве входных данных. Это ограничивает до 25 одновременной подготовки дисков. Одно задание может обрабатывать не более 10 дисков за раз. При подготовке более 10 дисков, предназначенных для одной учетной записи хранения, диски можно распределить между несколькими заданиями.

Можно ли нацелиться на несколько учетных записей хранения?

Только одна учетная запись хранения может быть отправлена для каждой задачи и в одном сеансе копирования.

Возможности

Шифрует ли WAImportExport.exe мои данные?

Да. Шифрование BitLocker включено и требуется для этого процесса.

Какой будет иерархия моих данных, когда они появятся в учетной записи хранения?

Хотя данные распределяются по дискам, данные при отправке в учетную запись хранения будут конвергентированы обратно в структуру каталогов, указанную в CSV-файле набора данных.

Сколько входных дисков будет иметь активные операции ввода-вывода параллельно, когда выполняется копирование?

Средство распределяет данные по входным дискам на основе размера входных файлов. При этом количество активных дисков, работающих параллельно, полностью зависит от типа входных данных. В зависимости от размера отдельных файлов в входном наборе данных один или несколько дисков могут параллельно отображать активные операции ввода-вывода. Дополнительные сведения см. в следующем вопросе.

Как средство распределяет файлы по дискам?

Средство WAImportExport считывает и записывает файлы пакетом по пакету, один пакет содержит максимум 100000 файлов. Это означает, что максимальное число файлов 100000 можно записывать параллельно. Несколько дисков записываются одновременно, если эти 100000 файлов распределяются по нескольким дискам. Будет ли средство записывать на несколько дисков одновременно или на один диск, зависит от совокупного размера пакета. Например, в случае небольших файлов, если все 10 000 файлов помещаются на один диск, средство будет записывать только на один диск во время обработки этого пакета.

Выходные данные WAImportExport

Есть два файла журнала, которые следует отправить на портал Azure?

.xml - Для каждого жесткого диска, который вы подготовите с помощью средства WAImportExport, средство создаст один файл журнала с именем <DriveID>.xml, где DriveID является серийным номером, связанным с диском, который средство считывает с диска. Для создания задания импорта на портале Azure вам потребуются файлы журнала со всех дисков. Этот файл журнала также можно использовать для возобновления подготовки диска, если средство прервано.

Jrn — файл журнала с суффиксом .jrn содержит состояние всех сеансов копирования для жесткого диска. Он также содержит сведения, необходимые для создания задания импорта. При запуске средства WAImportExport всегда необходимо указать файл журнала, а также идентификатор сеанса копирования.

Дальнейшие шаги

• настройка средства импорта и экспорта Azure
• Задание свойств и метаданных во время процесса импорта
• пример рабочего процесса для подготовки жестких дисков к заданию импорта
• краткий справочник по часто используемым командам 
• Просмотр состояния задания с помощью файлов журнала копирования
• Ремонт задания импорта
• Восстановление задания экспорта
• Устранение неполадок со средством импорта и экспорта Azure