Использование журналов для отладки проблем с загрузкой данных с помощью диска Azure Data Box.

Каждая передача данных для диска создает журнал копирования. Если вы решили сохранить подробный журнал при размещении заказа, в той же папке также есть подробный журнал.

Подробный журнал

Подробный журнал — это необязательный файл, который можно включить при оформлении заказа. Это простой список всех файлов, успешно импортированных с диска, со следующими сведениями для каждого файла. Подробный журнал не предоставляет сводные сведения.

Пример подробного журнала

В следующем примере подробного журнала приведены примеры записей файлов для импорта блочных BLOB-объектов, страничных BLOB-объектов и файлов Azure.

<File CloudFormat="BlockBlob" Path="$root\file26fd6b4bd-25f7-4019-8d0d-baa7355745df.vhd" Size="1024" crc64="14179624636173788226">
</File><File CloudFormat="BlockBlob" Path="$root\file49d220295-9cfd-469e-b69e-5c7c885133df.vhd" Size="1024" crc64="14179624636173788226">
</File>
----------CUT--------------------
<File CloudFormat="AzureFile" Path="e579954d-1f94-40cf-955f-afd39e9ca217\file1876f73ad-6213-43bc-9467-67fe0c794e99.block" Size="1024" crc64="1410470866535975213">
</File><File CloudFormat="AzureFile" Path="05407abe-81c8-4b44-b846-3a2c8c198316\file28d7868be-e6a7-4441-8d09-2b127f7d049e.vhd" Size="1024" crc64="1410470866535975213">
</File><File CloudFormat="AzureFile" Path="eb7666a7-c026-4375-9c08-3dea37a57713\file4448aeaf5-53dc-4bff-b798-4776e367ab5e.vhd" Size="1024" crc64="1410470866535975213">
</File>
----------CUT--------------------
<File CloudFormat="PageBlob" Path="tesdir8b1d0acd-2d37-46dd-96cf-edeb0f772e6b\file1.txt" Size="83886080" crc64="1680234237456714851">
</File><File CloudFormat="PageBlob" Path="tesdirf631630d-8098-4c84-be7b-40f6bbdb73fb\file_size0.txt" Size="0" crc64="0">
</File><File CloudFormat="PageBlob" Path="tesdirf631630d-8098-4c84-be7b-40f6bbdb73fb\Dir1/file_size0.txt" Size="0" crc64="0">
</File>

Журнал копирования

Журнал копирования содержит запись об ошибке для каждого файла, который не удалось импортировать, с подробными сведениями об ошибке. Журнал копирования заканчивается сводкой ошибок проверки и копирования, возникших во время импорта.

Каждая запись ошибки содержит следующие сведения.

Сводка в конце журнала (найдите CopyLog Summary) предоставляет следующие сведения:

• Версия журнала диска (в данном случае 2021-08-01)
• Идентификатор диска
• Состояние копирования данных
• Сводка ошибок проверки по категориям ошибок
• Сводка ошибок копирования по категориям ошибок

Пример журнала копирования

Следующий пример является журналом копирования данных для импорта в Azure Files и хранилище BLOB-объектов Azure.

Эта копия не удалась, без ошибок проверки, но с тремя ошибками при копировании. Один файловый ресурс был переименован (ShareRenamed ошибка), а два контейнера были переименованы (ContainerRenamed ошибка). Запись ошибки дает исходные и новые имена файлов.

<ErroredEntity Path="New Folder">
  <Category>ShareRenamed</Category>
  <ErrorCode>1</ErrorCode>
  <ErrorMessage>The original container/share/Blob has been renamed to: DataBox-f55763d4-8ef7-458f-b029-f36b51ada34f :from: New Folder :because either name has invalid character(s) or length is not supported</ErrorMessage>
  <Type>Container</Type>
</ErroredEntity>
<ErroredEntity Path="CV">
  <Category>ContainerRenamed</Category>
  <ErrorCode>1</ErrorCode>
  <ErrorMessage>The original container/share/Blob has been renamed to: DataBox-6bcae46f-04c8-4385-8442-3a28b962c930 :from: CV :because either name has invalid character(s) or length is not supported</ErrorMessage>
  <Type>Container</Type>
</ErroredEntity><ErroredEntity Path="New_ShareFolder">
  <Category>ContainerRenamed</Category>
  <ErrorCode>1</ErrorCode>
  <ErrorMessage>The original container/share/Blob has been renamed to: DataBox-96d8e2ee-ffd4-4529-9ec0-f666674b70d9 :from: New_ShareFolder :because either name has invalid character(s) or length is not supported</ErrorMessage>
  <Type>Container</Type>
</ErroredEntity>
<CopyLog Summary="Summary">
  <DriveLogVersion>2021-08-01</DriveLogVersion>
  <DriveId>72a1914a-7fb2-4e34-a135-5c7176c3ee41</DriveId>
  <Status>Failed</Status>
  <TotalFiles_Blobs>60</TotalFiles_Blobs>
  <FilesErrored>0</FilesErrored>
  <Summary>
    <ValidationErrors>
      <None Count="3" />
    </ValidationErrors>
    <CopyErrors>
      <ShareRenamed Count="1" Description="Renamed the share as the original share name does not follow Azure conventions." />
      <ContainerRenamed Count="2" Description="Renamed the container as the original container name does not follow Azure conventions." />
    </CopyErrors>
  </Summary>
</CopyLog>

В журнале дисков версии 2018-10-01 отправка данных создает журнал ошибок и подробный журнал. Оба журнала находятся в одном формате и содержат XML-описания событий, которые произошли при копировании данных с диска в учетную запись хранения Azure.

Подробный журнал содержит полные сведения о состоянии операции копирования для каждого большого двоичного объекта или файла, в то время как журнал ошибок содержит только сведения о больших двоичных объектах или файлах, которые столкнулись с ошибками во время отправки.

Журнал ошибок имеет ту же структуру, что и подробный журнал, но отфильтровывает успешные операции.

Пример подробного журнала

_verbose.xml Пример показан здесь. В этом случае заказ успешно завершился без ошибок.

<?xml version="1.0" encoding="utf-8"?>
<DriveLog Version="2018-10-01">
  <DriveId>184020D95632</DriveId>
  <Blob Status="Completed">
    <BlobPath>$root/botetapageblob.vhd</BlobPath>
    <FilePath>\PageBlob\botetapageblob.vhd</FilePath>
    <Length>1073742336</Length>
    <ImportDisposition Status="Created">rename</ImportDisposition>
    <PageRangeList>
      <PageRange Offset="0" Length="4194304" Status="Completed" />
      <PageRange Offset="4194304" Length="4194304" Status="Completed" />
      <PageRange Offset="8388608" Length="4194304" Status="Completed" />
      --------CUT-------------------------------------------------------
      <PageRange Offset="1061158912" Length="4194304" Status="Completed" />
      <PageRange Offset="1065353216" Length="4194304" Status="Completed" />
      <PageRange Offset="1069547520" Length="4194304" Status="Completed" />
      <PageRange Offset="1073741824" Length="512" Status="Completed" />
    </PageRangeList>
  </Blob>
  <Blob Status="Completed">
    <BlobPath>$root/botetablockblob.txt</BlobPath>
    <FilePath>\BlockBlob\botetablockblob.txt</FilePath>
    <Length>19</Length>
    <ImportDisposition Status="Created">rename</ImportDisposition>
    <BlockList>
      <Block Offset="0" Length="19" Status="Completed" />
    </BlockList>
  </Blob>
  <File Status="Completed">
    <FileStoragePath>botetaazurefilesfolder/botetaazurefiles.txt</FileStoragePath>
    <FilePath>\AzureFile\botetaazurefilesfolder\botetaazurefiles.txt</FilePath>
    <Length>20</Length>
    <ImportDisposition Status="Created">rename</ImportDisposition>
    <FileRangeList>
      <FileRange Offset="0" Length="20" Status="Completed" />
    </FileRangeList>
  </File>
  <Status>Completed</Status>
</DriveLog>

Примеры журналов ошибок

Для того же порядка здесь показан образец _error.xml.

<?xml version="1.0" encoding="utf-8"?>
<DriveLog Version="2018-10-01">
  <DriveId>184020D95632</DriveId>
  <Summary>
    <ValidationErrors>
      <None Count="3" />
    </ValidationErrors>
    <CopyErrors>
      <None Count="3" Description="No errors encountered" />
    </CopyErrors>
  </Summary>
  <Status>Completed</Status>
</DriveLog>

Пример _error.xml показан здесь, где задание завершено с ошибками.

В этом случае файл ошибок содержит Summary раздел и другой раздел, содержащий все ошибки на уровне файла.

Summary содержит ValidationErrors и CopyErrors. В этом случае восемь файлов или папок были отправлены в Azure, и не было ошибок проверки. Когда данные были скопированы в учетную запись Azure Storage, пять файлов или папок были успешно загружены. Оставшиеся три файла или папки были переименованы в соответствии с соглашениями об именовании контейнеров Azure, а затем успешно отправлены в Azure.

Состояния уровня файла находятся в BlobStatus, в котором описаны действия, предпринятые для загрузки BLOBов. В этом случае три контейнера переименованы, так как папки, в которые были скопированы данные, не соответствуют соглашениям об именовании Azure для контейнеров. Для блобов, загруженных в эти контейнеры, включены новое имя контейнера, путь блоба в Azure, исходный недопустимый путь к файлу и размер блоба.

 <?xml version="1.0" encoding="utf-8"?>
  <DriveLog Version="2018-10-01">
    <DriveId>18041C582D7E</DriveId>
    <Summary>
      <ValidationErrors>
        <None Count="8" />
      </ValidationErrors>
      <CopyErrors>
        <Completed Count="5" Description="No errors encountered" />
        <ContainerRenamed Count="3" Description="Renamed the container as the original container name does not follow Azure conventions." />
      </CopyErrors>
    </Summary>
    <Blob Status="ContainerRenamed">
      <BlobPath>databox-c2073fd1cc379d83e03d6b7acce23a6cf29d1eef/private.vhd</BlobPath>
      <OriginalFilePath>\PageBlob\pageblob test\private.vhd</OriginalFilePath>
      <SizeInBytes>10490880</SizeInBytes>
    </Blob>
    <Blob Status="ContainerRenamed">
      <BlobPath>databox-c2073fd1cc379d83e03d6b7acce23a6cf29d1eef/resource.vhd</BlobPath>
      <OriginalFilePath>\PageBlob\pageblob test\resource.vhd</OriginalFilePath>
      <SizeInBytes>71528448</SizeInBytes>
    </Blob>
    <Blob Status="ContainerRenamed">
      <BlobPath>databox-c2073fd1cc379d83e03d6b7acce23a6cf29d1eef/role.vhd</BlobPath>
      <OriginalFilePath>\PageBlob\pageblob test\role.vhd</OriginalFilePath>
      <SizeInBytes>10490880</SizeInBytes>
    </Blob>
    <Status>CompletedWithErrors</Status>
  </DriveLog>

Ошибки, обнаруженные в журнале копирования 2018-10-01, описаны в этой таблице.

Ошибки, созданные при отправке данных в Azure, приведены в следующей таблице. Этот набор ошибок найден в журнале ошибок 2018-10-01.