Управление файлами, распределенными по уровням

В этой статье содержатся рекомендации для пользователей по управлению файлами, распределенными по уровням. Для получения ответов на концептуальные вопросы о многоуровневом хранении в облаке, см. раздел Часто задаваемые вопросы по Azure Files.

Как проверить, распределяются ли ваши файлы по уровням

Требуют ли установленные в данный момент политики распределять файлы по уровням, определяется один раз в час. При создании конечной точки сервера могут возникнуть две ситуации.

1. Когда вы впервые добавляете новый серверный конечный узел, в этом расположении часто уже существуют файлы. Их необходимо отправить в облако, чтобы началось распределение по уровням. Политика управления свободным пространством не будет применяться до завершения первоначальной отправки всех файлов. Применение же необязательной политики дат начинается на уровне отдельных файлов по мере их отправки. Здесь также действует интервал в один час.

2. При добавлении новой конечной точки сервера можно подключить пустой сервер к файловому ресурсу Azure с вашими данными. Если вы решите скачать пространство имён и вызвать содержимое в ходе начальной загрузки на сервер, то после того, как пространство имён будет загружено, файлы будут заново загружены в соответствии с последней меткой времени изменения до тех пор, пока не будут достигнуты лимиты политики свободного пространства тома и необязательной политики даты.

Существует несколько способов проверить, был ли файл отнесён к вашему общему ресурсу Azure файлами:

• Проверьте атрибуты файла. Щелкните файл правой кнопкой мыши, перейдите в раздел Сведения и прокрутите вниз до свойства Атрибуты. Файлу с уровнями заданы следующие атрибуты:

  Буква атрибута	Атрибут	Определение
  а	Архив	Указывает, что с помощью программного обеспечения для архивации должно быть выполнено резервное копирование файла. Этот атрибут задается всегда, независимо от того, распределен ли файл по уровням или полностью хранится на диске.
  P	Разреженный файл	Указывает, что этот файл является разреженным. Разреженный файл — это специализированный тип файла, который NTFS предлагает для эффективного использования, когда поток файла на диске в основном пуст. Azure File Sync использует разреженные файлы, потому что файл либо полностью хранится в облаке, либо частично загружается. В полностью распределенном файле поток данных хранится в облаке. Когда часть файла частично восстанавливается, она уже находится на диске. Такое может случиться, когда файлы частично считываются приложениями, например мультимедийными проигрывателями или программами для сжатия. Если файл полностью возвращается на диск, Azure File Sync преобразует его из разреженного файла в обычный файл. Этот атрибут задается только в Windows Server 2016 и более ранних версиях.
  Пн.	Отзыв доступа к данным	Указывает, что данные файла не полностью присутствуют в локальном хранилище. Чтение файла приведет к тому, что хотя бы часть содержимого файла будет получена из Azure общей папки, к которой подключена конечная точка сервера. Этот атрибут задается только в Windows Server 2019 и более новых версиях.
  L	Точка повторного анализа	Указывает, что файл содержит точку повторного анализа. Точка повторного анализа — это специальный указатель, используемый фильтром файловой системы. Azure File Sync использует точки повторного анализа, чтобы указать фильтру файловой системы Azure File Sync (StorageSync.sys) облачное местоположение, где хранится файл. Это обеспечивает прозрачный доступ Пользователям не нужно знать, что используется Azure File Sync или как получить доступ к файлу в Azure общей папке. После полного отзыва файла Azure File Sync удаляет точку повторного выполнения из файла.
  O	Offline	Указывает, что некоторые или все содержимое файла не хранится на диске. После полного отзыва файла Azure File Sync удаляет этот атрибут.

  

  Примечание.

  Вы можете просмотреть атрибуты для всех файлов в папке. Для этого необходимо добавить поле Атрибуты в окно таблицы проводника. Щелкните правой кнопкой мыши имеющийся столбец (например, Размер), выберите Дополнительно, а затем в раскрывающемся списке выберите Атрибуты.

  Примечание.

  Все эти атрибуты будут видны и для частично отозванных файлов.

• Используйте fsutil для проверки репарсинг-точек в файле. Как описано в предыдущем варианте, для многоуровневого файла всегда устанавливается точка повторного анализа. Точка перепарсинга позволяет драйверу фильтра файловой системы Azure File Sync (StorageSync.sys) извлекать содержимое из файловых ресурсов Azure, которые не хранятся локально на сервере.

  Проверить наличие точки повторного анализа для файла можно с помощью команды fsutil, выполнив ее в командной строке с повышенными привилегиями или сеансе PowerShell:

  fsutil reparsepoint query <your-file-name>
  

  Если файл содержит точку повторного анализа, вы можете ожидать увидеть Значение тега повторной обработки: 0x8000001e. Это шестнадцатеричное значение — это значение точки повторного анализа, принадлежащее Azure File Sync. Выходные данные также содержат данные повторного анализа, которые представляют путь к файлу в Azure общей папке.

  Предупреждение

  С помощью команды fsutil reparsepoint можно также удалить точку повторного анализа. Не выполняйте эту команду, если команда инженеров Azure File Sync не просит вас. так как ее выполнение может привести к потере данных.

Как исключить файлы и папки из распределения по уровням

Если вы хотите исключить файлы или папки из стратификации и оставить их локально на Windows Server, можно настроить параметр реестра GhostingExclusionList в разделе HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync. Файлы можно исключить по имени файла, расширению файла или пути.

Чтобы исключить файлы или папки из уровня облака, выполните следующие действия.

1. Откройте командную строку с повышенными привилегиями.

2. Выполните одну из следующих команд, чтобы настроить исключения:

   Чтобы исключить определенные расширения файлов из распределения по уровням (например, .one, .lnk, .log), выполните следующую команду:
   reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d .one|.lnk|.log /f

   Чтобы исключить определенное имя файла из распределения по уровням (например, FileName.vhd), выполните следующую команду:
   reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d FileName.vhd /f

   Чтобы исключить все файлы в папке из многоуровневого хранилища (например, D:\ShareRoot\Folder\SubFolder), выполните следующую команду: reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d D:\\ShareRoot\\Folder\\SubFolder /f

   Чтобы исключить все файлы в папке, содержащей один или несколько специальных символов (см. примечание ниже относительно экранирования), например, D:\+$Folder\SubFolder, выполните следующую команду: reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d D:\\\+\$Folder\\SubFolder /f**

   Чтобы исключить сочетание имен файлов, расширений файлов и папок из распределения по уровням (например, D:\ShareRoot\Folder1\SubFolder1,FileName.log,.txt), выполните следующую команду:
   reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d D:\\ShareRoot\\Folder1\\SubFolder1|FileName.log|.txt /f

3. Чтобы исключения из распределения по уровням в облаке вступили в силу, необходимо перезапустить службу агента синхронизации хранилища (FileSyncSvc), выполнив следующие команды:

   net stop filesyncsvc
   net start filesyncsvc

Многоуровневые загрузки

Если вы исключите тип или шаблон файла, он больше не будет передаваться с этого сервера. Однако все файлы, измененные или созданные в другой конечной точке, будут загружаться как многоуровневые файлы и будут оставаться многоуровневые. Эти файлы будут постепенно отзываться на основе политики исключения.

Например, если вы исключите PDF-файлы, файлы PDF, создаваемые непосредственно на сервере, не будут многоуровневы. Однако все PDF-файлы, создаваемые в другой конечной точке, например другой конечной точке сервера или общей папке Azure, по-прежнему будут загружаться как многоуровневые файлы. Эти исключенные многоуровневые файлы будут полностью восстановлены в течение ближайших 3-4 дней.

Если вы не хотите, чтобы файлы были в иерархическом состоянии, включите принудительный возврат. Эта функция предотвратит загрузку файлов по приоритетам и остановит фоновое распределение ресурсов.

Дополнительные сведения

• Если агент Azure File Sync установлен в отказоустойчивом кластере, необходимо создать параметр реестра GhostingExclusionList в разделе HKEY_LOCAL_MACHINE\Cluster\StorageSync\SOFTWARE\Microsoft\Azure\StorageSync.
  • Пример: reg ADD "HKEY_LOCAL_MACHINE\Cluster\StorageSync\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d .one|.lnk|.log /f
• Каждое исключение в реестре должно быть отделено вертикальной чертой (|).
• Используйте двойную обратную косую черту (\\) при указании пути для исключения.
  • Пример: reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d D:\\ShareRoot\\Folder\\SubFolder /f
• Исключения имен файлов или типов файлов применяются ко всем конечным точкам на сервере.
• Нельзя исключить только типы файлов из определенной папки.
• Исключения не применяются к файлам, которые уже многоуровневы. Чтобы отозвать файлы, уже распределенные по уровням хранения, используйте командлет Invoke-StorageSyncFileRecall.
• Используйте идентификатор события 9001 в журнале событий телеметрии на сервере, чтобы проверить настроенные исключения распределения по уровням в облаке. Журнал событий телеметрии находится в Event Viewer в Applications and Services\Microsoft\FileSync\Agent.

Как исключить приложения из отслеживания времени последнего обращения в облачном слоистом хранилище

Когда приложение обращается к файлу, время последнего обращения к файлу обновляется в базе данных облачной иерархии. Из-за приложений, которые сканируют файловую систему — например, антивирусных программ — время последнего обращения оказывается у всех файлов одинаковым, что сказывается на времени распределения файлов по уровням.

Чтобы исключить приложения из отслеживания времени последнего доступа, добавьте исключения для процессов в параметр реестра HeatTrackingProcessNamesExclusionList в разделе реестра HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync.

Пример: reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v HeatTrackingProcessNamesExclusionList /t REG_SZ /d "SampleApp.exe|AnotherApp.exe" /f

Если агент Azure File Sync установлен в отказоустойчивом кластере, необходимо создать параметр реестра HeatTrackingProcessNamesExclusionList в разделе HKEY_LOCAL_MACHINE\Cluster\StorageSync\SOFTWARE\Microsoft\Azure\StorageSync.

Пример: reg ADD "HKEY_LOCAL_MACHINE\Cluster\StorageSync\SOFTWARE\Microsoft\Azure\StorageSync" /v HeatTrackingProcessNamesExclusionList /t REG_SZ /d "SampleApp.exe|AnotherApp.exe" /f

Как получить доступ к хранилищу тепла

При распределении по уровням в облаке решение о том, какие файлы должны распределяться по уровням, принимается на основании времени последнего обращения и частоты обращений к файлу. Драйвер фильтра распределения по уровням в облаке (storagesync.sys) отслеживает время последнего обращения и регистрирует эту информацию в хранилище статистики распределения по уровням в облаке. Вы можете извлечь данные из хранилища тепла и сохранить их в CSV-файл, используя локальный командлет PowerShell на сервере.

Для всех файлов на одном и том же томе используется единое тепловое хранилище. Аккумулятор тепла может увеличиваться до очень больших размеров. Если необходимо получить только самые нужные элементы, используйте -Limit и число; также рассмотрите возможность фильтрации по подпутям вместо корня тома.

• Импорт модуля PowerShell: Import-Module '<SyncAgentInstallPath>\StorageSync.Management.ServerCmdlets.dll'

• СВОБОДНОЕ МЕСТО В ТОМЕ. Запрос порядка, в котором файлы будут распределяться по уровням согласно политике свободного места в томе: Get-StorageSyncHeatStoreInformation -VolumePath '<DriveLetter>:\' -ReportDirectoryPath '<FolderPathToStoreResultCSV>' -IndexName FilesToBeTieredBySpacePolicy

• ПОЛИТИКА ДАТ. Запрос порядка, в котором файлы будут распределяться по уровням согласно политике дат: Get-StorageSyncHeatStoreInformation -VolumePath '<DriveLetter>:\' -ReportDirectoryPath '<FolderPathToStoreResultCSV>' -IndexName FilesToBeTieredByDatePolicy

• Найдите информацию о запасах тепла для определенного файла: Get-StorageSyncHeatStoreInformation -FilePath '<PathToSpecificFile>'

• Вывод списка всех файлов по убыванию времени последнего обращения: Get-StorageSyncHeatStoreInformation -VolumePath '<DriveLetter>:\' -ReportDirectoryPath '<FolderPathToStoreResultCSV>' -IndexName DescendingLastAccessTime

• Узнайте порядок, в котором файлы с уровнями будут восстановлены в фоновом режиме или по требованию с помощью PowerShell: Get-StorageSyncHeatStoreInformation -VolumePath '<DriveLetter>:\' -ReportDirectoryPath '<FolderPathToStoreResultCSV>' -IndexName OrderTieredFilesWillBeRecalled

Как заставить файл или каталог быть распределёнными по уровням

Если функция распределения по уровням облака включена, файлы распределяются по уровням автоматически на основе последнего времени доступа и изменения, чтобы достичь процента свободного пространства тома, указанного для конечной точки облака. Иногда может потребоваться вручную принудительно переместить файл на другой уровень хранения. Это может быть полезно, если вам нужно сохранить большие файлы, которые не планируется использовать повторно в течение долгого времени, и освободить пространство на томе для других файлов и папок. Вы можете принудительно задать уровневое распределение, используя следующие команды PowerShell:

Import-Module "C:\Program Files\Azure\StorageSyncAgent\StorageSync.Management.ServerCmdlets.dll"
Invoke-StorageSyncCloudTiering -Path "file-or-directory-to-be-tiered"

Возврат многоуровневого файла на диск

Самый простой способ отозвать файл на диск — открыть его. Фильтр файловой системы Azure File Sync (StorageSync.sys) легко загружает файл из общей папки Azure. При открытии файлов тех типов, которые допускают частичное чтение или потоковую передачу, например файлов мультимедиа или ZIP-файлов, сам факт открытия не гарантирует их полного скачивания.

Import-Module "C:\Program Files\Azure\StorageSyncAgent\StorageSync.Management.ServerCmdlets.dll" 
Invoke-StorageSyncFileRecall -Path "D:\path-to-your-server-endpoint" -Pattern *.lnk

Параметры:

• -Path Параметр -Path в команде Invoke-StorageSyncFileRecall указывает, где на локальном сервере должны быть восстановлены возвращенные файлы. Этот путь должен быть конечной точкой сервера, настроенной для Azure File Sync.
  • Если вы не уверены в пути к конечной точке сервера, перейдите к агенту Azure File Sync → выберите службу синхронизации хранилища → откройте группу синхронизации.
  • Вы также можете выполнить следующую команду с помощью PowerShell:

Get-StorageSyncServerEndpoint

• -Pattern Параметр -Pattern в Invoke-StorageSyncFileRecall используется для фильтрации файлов, которые следует отозвать из Azure File Sync. Он позволяет указать типы файлов или имена с помощью подстановочных знаков.

Чтобы обеспечить полное скачивание файла на локальный диск, необходимо выполнить принудительный полный отзыв файла с помощью PowerShell. Этот вариант может также пригодиться, когда требуется одновременно отозвать большое число файлов — например, все файлы в папке. Откройте сеанс PowerShell на узле сервера, где установлен Azure File Sync, а затем выполните следующие команды PowerShell:

Import-Module "C:\Program Files\Azure\StorageSyncAgent\StorageSync.Management.ServerCmdlets.dll"
Invoke-StorageSyncFileRecall -Path "D:\path-to-your-server-endpoint"

Необязательные параметры

• -Order CloudTieringPolicy сначала покажет самые последние измененные или доступные файлы, если это разрешено текущей политикой многоуровневого распределения.
  • Если настроена политика свободного места в томе, файлы будут отзываться, пока не будет достигнуто заданное значение параметра этой политики. Например, если параметр политики бесплатного тома равен 20%, отзыв остановится после того, как свободное место тома достигнет 20 %.
  • Если одновременно настроены политика свободного места в томе и политика дат, файлы будут отзываться, пока не будет достигнуто заданное значение параметра той или другой политики. Например, если для параметра политики свободного места в томе задано значение 20 %, а для параметра политики дат — 7 дней, то отзыв прекратится, когда в томе образуется 20 % свободного места или когда все файлы со временем изменения или последнего обращения в пределах 7 прошедших дней окажутся локальными.
• -ThreadCount определяет, сколько файлов можно отозвать параллельно (максимальное количество потоков — 32).
• -PerFileRetryCount определяет частоту попыток отзыва файла, который в настоящее время заблокирован.
• -PerFileRetryDelaySeconds определяет время в секундах между повторными попытками отзыва и всегда должно использоваться в сочетании с предыдущим параметром.

Пример:

Import-Module "C:\Program Files\Azure\StorageSyncAgent\StorageSync.Management.ServerCmdlets.dll"
Invoke-StorageSyncFileRecall -Path "D:\path-to-your-server-endpoint" -ThreadCount 8 -Order CloudTieringPolicy -PerFileRetryCount 3 -PerFileRetryDelaySeconds 10

Следующие шаги

• Часто задаваемые вопросы (ЧЗВ) по Azure Files