Управление файлами, распределенными по уровням

В этой статье содержатся рекомендации для пользователей по управлению файлами, распределенными по уровням. По вопросам концепции уровней облаков см. Часто задаваемые вопросы по Azure Files.

Как проверить, распределяются ли ваши файлы по уровням

Требуют ли установленные в данный момент политики распределять файлы по уровням, определяется один раз в час. При создании конечной точки сервера могут возникнуть две ситуации.

1. Когда вы впервые добавляете новый серверный конечный узел, в этом расположении часто уже существуют файлы. Их необходимо отправить в облако, чтобы началось распределение по уровням. Политика управления свободным пространством не будет применяться до завершения первоначальной отправки всех файлов. Применение же необязательной политики дат начинается на уровне отдельных файлов по мере их отправки. Здесь также действует интервал в один час.

2. При добавлении новой конечной точки сервера, вы можете подключить неиспользуемое расположение сервера к общей папке Azure с вашими данными. Если вы решите скачать пространство имён и вызвать содержимое в ходе начальной загрузки на сервер, то после того, как пространство имён будет загружено, файлы будут заново загружены в соответствии с последней меткой времени изменения до тех пор, пока не будут достигнуты лимиты политики свободного пространства тома и необязательной политики даты.

Существует несколько способов проверки, была ли перемещена на уровень ваша папка файлов Azure.

• Проверьте атрибуты файла. Щелкните файл правой кнопкой мыши, перейдите в раздел Сведения и прокрутите вниз до свойства Атрибуты. Файлу с уровнями заданы следующие атрибуты:

  Буква атрибута	Атрибут	Определение
  а	Архив	Указывает, что с помощью программного обеспечения для архивации должно быть выполнено резервное копирование файла. Этот атрибут задается всегда, независимо от того, распределен ли файл по уровням или полностью хранится на диске.
  P	Разреженный файл	Указывает, что этот файл является разреженным. Разреженный файл — это специализированный тип файла, который NTFS предлагает для эффективного использования, когда поток файла на диске в основном пуст. Azure File Sync использует разреженные файлы, потому что файл либо полностью переходит в другую ступень хранения, либо частично восстанавливается. В полностью распределенном файле поток данных хранится в облаке. Когда часть файла частично восстанавливается, она уже находится на диске. Такое может случиться, когда файлы частично считываются приложениями, например мультимедийными проигрывателями или программами для сжатия. Если файл полностью отозван на диск, служба синхронизации файлов Azure преобразует его из разреженного файла в обычный файл. Этот атрибут задается только в Windows Server 2016 и более ранних версиях.
  Пн.	Отзыв доступа к данным	Указывает, что данные файла не полностью присутствуют в локальном хранилище. При чтении файла по крайней мере часть его содержимого будет получена из общей папки Azure, к которому подключена конечная точка сервера. Этот атрибут задан только в Windows Server 2019 и более поздней версии.
  L	Точка повторного анализа	Указывает, что файл содержит точку повторного анализа. Точка повторного анализа — это специальный указатель, используемый фильтром файловой системы. Azure File Sync использует точки повторного анализа для указания фильтру файловой системы (StorageSync.sys) облачного расположения, где хранится файл. Это обеспечивает прозрачный доступ Пользователям не нужно будет знать, что используется служба синхронизации файлов Azure, или как получить доступ к файлу в общем доступе Azure. После полного восстановления файла служба синхронизации файлов Azure удаляет точку повторного анализа из этого файла.
  O	Offline	Указывает, что некоторые или все содержимое файла не хранится на диске. После полного отзыва файла служба синхронизации файлов Azure удаляет этот атрибут.

  

  Примечание.

  Вы можете просмотреть атрибуты для всех файлов в папке. Для этого необходимо добавить поле Атрибуты в окно таблицы проводника. Щелкните правой кнопкой мыши имеющийся столбец (например, Размер), выберите Дополнительно, а затем в раскрывающемся списке выберите Атрибуты.

  Примечание.

  Все эти атрибуты будут видны и для частично отозванных файлов.

• Используйте fsutil для проверки репарсинг-точек в файле. Как описано в предыдущем варианте, для многоуровневого файла всегда устанавливается точка повторного анализа. Точка повторного анализа позволяет драйверу фильтра файловой системы Синхронизация файлов Azure (StorageSync.sys) извлекать содержимое из общих файлов Azure, которые не хранятся локально на сервере.

  Проверить наличие точки повторного анализа для файла можно с помощью команды fsutil, выполнив ее в командной строке с повышенными привилегиями или сеансе PowerShell:

  fsutil reparsepoint query <your-file-name>
  

  Если файл содержит точку повторного анализа, вы можете ожидать увидеть Значение тега повторной обработки: 0x8000001e. Это шестнадцатеричное значение точки повторного анализа, принадлежащее Azure File Sync. Выходные данные также содержат данные повторного анализа, представляющие путь к вашему файлу на вашей файловой службе Azure.

  Предупреждение

  С помощью команды fsutil reparsepoint можно также удалить точку повторного анализа. Не выполняйте эту команду, если команда инженеров Azure File Sync не попросила Вас. так как ее выполнение может привести к потере данных.

Как исключить файлы и папки из распределения по уровням

Если вы хотите исключить файлы или папки из уровня и оставаться локальными на Windows Server, можно настроить параметр реестра GhostingExclusionList в разделе HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync. Файлы можно исключать по имени файла, расширению файла или пути.

Чтобы исключить файлы или папки из распределения по уровням в облаке, выполните следующие действия:

1. Откройте командную строку с повышенными привилегиями.

2. Выполните одну из следующих команд, чтобы настроить исключения:

   Чтобы исключить определенные расширения файлов из распределения по уровням (например, .one, .lnk, .log), выполните следующую команду:
   reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d .one|.lnk|.log /f

   Чтобы исключить определенное имя файла из распределения по уровням (например, FileName.vhd), выполните следующую команду:
   reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d FileName.vhd /f

   Чтобы исключить все файлы из уровня папки (например, D:\ShareRoot\Folder\SubFolder), выполните следующую команду: reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d:\ShareRoot\\Folder\\SubFolder /f

   Чтобы исключить сочетание имен файлов, расширений файлов и папок из распределения по уровням (например, D:\ShareRoot\Folder1\SubFolder1,FileName.log,.txt), выполните следующую команду:
   reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d D:\\ShareRoot\\Folder1\\SubFolder1|FileName.log|.txt /f

3. Чтобы исключения из распределения по уровням в облаке вступили в силу, необходимо перезапустить службу агента синхронизации хранилища (FileSyncSvc), выполнив следующие команды:
   net stop filesyncsvc
   net start filesyncsvc

Многоуровневые загрузки

Если вы исключите тип или шаблон файла, он больше не будет передаваться с этого сервера. Однако все файлы, измененные или созданные в другой конечной точке, будут загружаться как многоуровневые файлы и будут оставаться многоуровневые. Эти файлы будут постепенно отзываться на основе политики исключения.

Например, если вы исключите PDF-файлы, файлы PDF, создаваемые непосредственно на сервере, не будут многоуровневы. Однако все PDF-файлы, создаваемые на другой конечной точке, например другой конечной точке сервера или общей папке Azure, по-прежнему будут загружаться как многоуровневые файлы. Эти исключенные многоуровневые файлы будут полностью восстановлены в течение ближайших 3-4 дней.

Если вы не хотите, чтобы файлы были в многоуровневом доступе, включите упреждающий отзыв. Эта функция предотвратит загрузку файлов по приоритетам и остановит фоновое распределение ресурсов.

Дополнительные сведения

• Если агент Синхронизация файлов Azure установлен в отказоустойчивом кластере, необходимо создать параметр реестра GhostingExclusionList в разделе HKEY_LOCAL_MACHINE\Cluster\StorageSync\SOFTWARE\Microsoft\Azure\StorageSync.
  • Пример: reg ADD "HKEY_LOCAL_MACHINE\Cluster\StorageSync\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d .one|.lnk|.log /f
• Каждое исключение в реестре должно быть отделено вертикальной чертой (|).
• Используйте двойную обратную косую черту (\\) при указании пути для исключения.
  • Пример: reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v GhostingExclusionList /t REG_SZ /d D:\\ShareRoot\\Folder\\SubFolder /f
• Исключения имен файлов или типов файлов применяются ко всем конечным точкам на сервере.
• Нельзя исключить только типы файлов из определенной папки.
• Исключения не применяются к файлам, которые уже многоуровневы. Чтобы отозвать файлы, уже распределенные по уровням хранения, используйте командлет Invoke-StorageSyncFileRecall.
• Используйте идентификатор события 9001 в журнале событий телеметрии на сервере, чтобы проверить настроенные исключения распределения по уровням в облаке. Журнал событий телеметрии расположен в Просмотр событий в разделе Applications and Services\Microsoft\FileSync\Agent.

Как исключить приложения из отслеживания времени последнего обращения в облачном слоистом хранилище

Когда приложение обращается к файлу, время последнего обращения к файлу обновляется в базе данных облачной иерархии. Из-за приложений, которые сканируют файловую систему — например, антивирусных программ — время последнего обращения оказывается у всех файлов одинаковым, что сказывается на времени распределения файлов по уровням.

Чтобы исключить приложения из отслеживания времени последнего доступа, добавьте исключения процесса в параметр реестра HeatTrackingProcessNamesExclusionList в разделе HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync.

Пример: reg ADD "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Azure\StorageSync" /v HeatTrackingProcessNamesExclusionList /t REG_SZ /d "SampleApp.exe|AnotherApp.exe" /f

Если агент синхронизации файлов Azure установлен в отказоустойчивом кластере, необходимо создать параметр реестра HeatTrackingProcessNamesExclusionList под HKEY_LOCAL_MACHINE\Cluster\StorageSync\SOFTWARE\Microsoft\Azure\StorageSync.

Пример: reg ADD "HKEY_LOCAL_MACHINE\Cluster\StorageSync\SOFTWARE\Microsoft\Azure\StorageSync" /v HeatTrackingProcessNamesExclusionList /t REG_SZ /d "SampleApp.exe|AnotherApp.exe" /f

Как получить доступ к хранилищу тепла

При распределении по уровням в облаке решение о том, какие файлы должны распределяться по уровням, принимается на основании времени последнего обращения и частоты обращений к файлу. Драйвер фильтра распределения по уровням в облаке (storagesync.sys) отслеживает время последнего обращения и регистрирует эту информацию в хранилище статистики распределения по уровням в облаке. Вы можете извлечь данные из хранилища тепла и сохранить их в CSV-файл, используя локальный командлет PowerShell на сервере.

Для всех файлов на одном и том же томе используется единое тепловое хранилище. Аккумулятор тепла может увеличиваться до очень больших размеров. Если необходимо получить только самые нужные элементы, используйте -Limit и число; также рассмотрите возможность фильтрации по подпутям вместо корня тома.

• Импорт модуля PowerShell: Import-Module '<SyncAgentInstallPath>\StorageSync.Management.ServerCmdlets.dll'

• СВОБОДНОЕ МЕСТО В ТОМЕ. Запрос порядка, в котором файлы будут распределяться по уровням согласно политике свободного места в томе: Get-StorageSyncHeatStoreInformation -VolumePath '<DriveLetter>:\' -ReportDirectoryPath '<FolderPathToStoreResultCSV>' -IndexName FilesToBeTieredBySpacePolicy

• ПОЛИТИКА ДАТ. Запрос порядка, в котором файлы будут распределяться по уровням согласно политике дат: Get-StorageSyncHeatStoreInformation -VolumePath '<DriveLetter>:\' -ReportDirectoryPath '<FolderPathToStoreResultCSV>' -IndexName FilesToBeTieredByDatePolicy

• Найдите информацию о запасах тепла для определенного файла: Get-StorageSyncHeatStoreInformation -FilePath '<PathToSpecificFile>'

• Вывод списка всех файлов по убыванию времени последнего обращения: Get-StorageSyncHeatStoreInformation -VolumePath '<DriveLetter>:\' -ReportDirectoryPath '<FolderPathToStoreResultCSV>' -IndexName DescendingLastAccessTime

• Узнайте порядок, в котором файлы с уровнями будут восстановлены в фоновом режиме или по требованию с помощью PowerShell: Get-StorageSyncHeatStoreInformation -VolumePath '<DriveLetter>:\' -ReportDirectoryPath '<FolderPathToStoreResultCSV>' -IndexName OrderTieredFilesWillBeRecalled

Как заставить файл или каталог быть распределёнными по уровням

Если функция распределения по уровням облака включена, файлы распределяются по уровням автоматически на основе последнего времени доступа и изменения, чтобы достичь процента свободного пространства тома, указанного для конечной точки облака. Иногда может потребоваться вручную принудительно переместить файл на другой уровень хранения. Это может быть полезно, если вам нужно сохранить большие файлы, которые не планируется использовать повторно в течение долгого времени, и освободить пространство на томе для других файлов и папок. Вы можете принудительно задать уровневое распределение, используя следующие команды PowerShell:

Import-Module "C:\Program Files\Azure\StorageSyncAgent\StorageSync.Management.ServerCmdlets.dll"
Invoke-StorageSyncCloudTiering -Path "file-or-directory-to-be-tiered"

Возврат многоуровневого файла на диск

Самый простой способ отозвать файл на диск — открыть его. Фильтр файловой системы Azure File Sync (StorageSync.sys) бесшовно загружает файл из вашего Azure файлового ресурса. При открытии файлов тех типов, которые допускают частичное чтение или потоковую передачу, например файлов мультимедиа или ZIP-файлов, сам факт открытия не гарантирует их полного скачивания.

Import-Module "C:\Program Files\Azure\StorageSyncAgent\StorageSync.Management.ServerCmdlets.dll" 
Invoke-StorageSyncFileRecall -Path "D:\path-to-your-server-endpoint" -Pattern *.lnk

Параметры:

• -Path Параметр -Path в команде Invoke-StorageSyncFileRecall указывает, где на локальном сервере должны быть восстановлены возвращенные файлы. Этот путь должен быть конечной точкой сервера, настроенной для Azure File Sync.
  • Если вы не уверены в пути к конечной точке сервера, перейдите к агенту Синхронизация файлов Azure → выберите службу синхронизации хранилища → открыть группу синхронизации.
  • Вы также можете выполнить следующую команду с помощью PowerShell:

Get-StorageSyncServerEndpoint

• -PatternПараметр -Pattern в Invoke-StorageSyncFileRecall используется для фильтрации файлов, которые нужно восстановить из Azure File Sync. Он позволяет указать типы или имена файлов с использованием подстановочных знаков.

Чтобы обеспечить полное скачивание файла на локальный диск, необходимо выполнить принудительный полный отзыв файла с помощью PowerShell. Этот вариант может также пригодиться, когда требуется одновременно отозвать большое число файлов — например, все файлы в папке. Откройте сеанс PowerShell на узле сервера, на котором установлена служба синхронизации файлов Azure, и выполните следующие команды PowerShell:

Import-Module "C:\Program Files\Azure\StorageSyncAgent\StorageSync.Management.ServerCmdlets.dll"
Invoke-StorageSyncFileRecall -Path "D:\path-to-your-server-endpoint"

Необязательные параметры

• -Order CloudTieringPolicy сначала покажет самые последние измененные или доступные файлы, если это разрешено текущей политикой многоуровневого распределения.
  • Если настроена политика свободного места в томе, файлы будут отзываться, пока не будет достигнуто заданное значение параметра этой политики. Например, если параметр политики бесплатного тома равен 20%, отзыв остановится после того, как свободное место тома достигнет 20 %.
  • Если одновременно настроены политика свободного места в томе и политика дат, файлы будут отзываться, пока не будет достигнуто заданное значение параметра той или другой политики. Например, если для параметра политики свободного места в томе задано значение 20 %, а для параметра политики дат — 7 дней, то отзыв прекратится, когда в томе образуется 20 % свободного места или когда все файлы со временем изменения или последнего обращения в пределах 7 прошедших дней окажутся локальными.
• -ThreadCount определяет, сколько файлов можно отозвать параллельно (максимальное количество потоков — 32).
• -PerFileRetryCount определяет частоту попыток отзыва файла, который в настоящее время заблокирован.
• -PerFileRetryDelaySeconds определяет время в секундах между повторными попытками отзыва и всегда должно использоваться в сочетании с предыдущим параметром.

Пример:

Import-Module "C:\Program Files\Azure\StorageSyncAgent\StorageSync.Management.ServerCmdlets.dll"
Invoke-StorageSyncFileRecall -Path "D:\path-to-your-server-endpoint" -ThreadCount 8 -Order CloudTieringPolicy -PerFileRetryCount 3 -PerFileRetryDelaySeconds 10

Следующие шаги

• Часто задаваемые вопросы о службе файлов Azure