Использование функции автоматического экспорта в сервисе Azure Managed Lustre

Функция автоматического экспорта для Управляемого Lustre от Azure — это возможность, которая автоматически синхронизирует изменения в файловой системе Azure Managed Lustre с связанным объектным хранилищем Azure Blob.

С помощью этой функции можно убедиться, что новые и измененные файлы в файловой системе отражаются в связанном контейнере хранилища BLOB-объектов без вмешательства вручную. Это упрощает управление данными и улучшает синхронизацию для долгосрочного хранения.

Функции автоматического экспорта

Автоматическое экспортирование работает путем непрерывного мониторинга изменений в управляемой файловой системе Lustre Azure. На основе настроенной политики экспорта он обновляет содержимое связанного контейнера хранилища BLOB-объектов, чтобы отразить эти изменения. Эта функция предоставляет пользователям простой и автоматизированный процесс репликации данных.

Конфигурация

На существующей управляемой файловой системе Azure Lustre с настроенным контейнером хранилища BLOB-объектов включен автоэкспорт. Вы можете настроить автоматический экспорт с помощью параметров интеграции BLOB-объектов на портале Azure.

Чтобы создать задание автоматического экспорта, выполните следующие действия.

1. На портале Azure откройте файловую систему Azure Managed Lustre. В разделе "Параметры" выберите интеграцию BLOB-объектов.

2. Нажмите кнопку " + Создать задание".

3. В раскрывающемся списке "Тип задания " выберите "Автоматический экспорт".

4. В поле пути к файловой системе можно указать путь к каталогу, введя строку.

Все новые или измененные файлы в файловой системе под этим путем (префиксом) постоянно экспортируются. Файлы записываются в blob-контейнер с тем же путём файла (или префиксом), как в файловой системе Lustre. Чтобы избежать перезаписи существующих файлов в контейнере BLOB-объектов, убедитесь, что путь к файлу в файловой системе Lustre не перекрывается существующим путем файла в контейнере BLOB-объектов. (Единственным исключением является то, что файл Lustre был импортирован из этого пути в контейнере BLOB-объектов.)

Поведение автоматического экспорта

Ниже показано, как автоматическое экспортирование обрабатывает различные типы изменений:

• Создание нового файла, нового каталога и изменения в содержимом файла: процесс интеграции объектных данных определяет новые файлы, каталоги и данные, которые изменились. Он автоматически запускает задание экспорта. Автоэкспорт гарантирует, что последняя версия файла передается в хранилище Blob.
• Изменения метаданных: такие изменения, как переименования, обновления владения или корректировки разрешений, в настоящее время не синхронизируются.
• Удаление. Если файлы, каталоги или символьные ссылки удаляются в файловой системе, они не удаляются из контейнера хранилища BLOB-объектов.

Одновременно может выполняться не более одного задания интеграции BLOB-объектов (например, ручного экспорта, автоматического экспорта и импорта).

Автоматическое экспортирование выполняется с помощью непрерывных итераций экспорта. После завершения итерации процесс интеграции BLOB-объектов сканирует файловую систему для любых новых файлов, каталогов или изменений содержимого. Он запускает новую итерацию задания экспорта.

Экспорт журналов заданий в настроенном контейнере ведения журнала может помочь определить проблемы синхронизации и понять причины сбоя операций.

Мониторинг и управление автоматическим экспортом

Вы можете отслеживать действия автоматического экспорта и управлять конфигурациями с помощью портала Azure.

В панели Blob интеграции отображаются подробности действий экспорта в разделе "Последние задания", включая статус последних заданий и метрики, связанные с автоматической синхронизацией.

Чтобы отменить задание в процессе, выберите ссылку "Отмена " для этого задания в таблице "Последние задания ". Ссылка "Отмена" доступна только для текущего задания.

Чтобы просмотреть метрики задания автоматического экспорта, выберите значение "Имя " задания. Панель метрик отображается на боковой панели портала.

Мониторинг заданий автоматического экспорта

В панели Blob интеграции отображаются подробности действий экспорта в разделе "Последние задания", включая статус последних заданий и метрики, связанные с автоматической синхронизацией.

Чтобы отменить выполняющееся задание, выберите ссылку "Отмена " для этого задания в таблице "Последние задания ". Ссылка "Отмена" доступна только для текущего задания.

Чтобы просмотреть метрики задания автоматического экспорта, выберите значение "Имя " задания. Панель метрик отображается на боковой панели портала.

Метрики

На портале метрики группируются в две основные категории: общая и текущая итерация.

* Метрики для текущей итерации следует рассматривать как на данный момент. Например, обнаруженные файлы — это количество файлов, обнаруженных для экспорта в момент создания отчетов. Следующий цикл отчетности может показать, что обнаружены дополнительные файлы.

Соображения и передовой опыт

При использовании функции автоматического экспорта рассмотрите следующие рекомендации для обеспечения плавной работы:

• Управление конфликтами: если файл изменяется как в файловой системе, так и в хранилище BLOB-объектов, возникает риск перезаписи. Используйте координацию на уровне приложения, чтобы предотвратить конфликтующие изменения.
• Отключите автоматический экспорт перед удалением: Перед удалением файловой системы или процесса интеграции с BLOB убедитесь, что все обновления в очереди были синхронизированы. Убедитесь, что время последней успешной итерации последнее, а метрика "Файлы не удалось " равна нулю, чтобы избежать потери данных. Затем отключите автоматическое экспортирование.

Связанный контент

• Дополнительные сведения об интеграции Azure Blob Storage с управляемыми файловыми системами Lustre Azure.