Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Функция автоматического импорта в Управляемом Azure Lustre обеспечивает бесшовную синхронизацию данных из контейнера хранилища Azure Blob Storage в кластер Azure Managed Lustre. Эта функция позволяет клиентам рассматривать Blob-хранилище в качестве холодного уровня, а Управляемый Lustre Azure — в качестве высокопроизводительного горячего уровня. Этот метод автоматически отражает изменения, внесенные в хранилище BLOB-объектов в пространстве имен Lustre.
Как работает функция автоматического импорта
Функция автоматического импорта в Azure Managed Lustre работает путем непрерывного мониторинга изменений в связанном контейнере Azure Blob Storage с помощью функции канала изменений Azure Blob Storage.
На основе настроенной политики импорта он обновляет содержимое пространства имен Azure Managed Lustre, чтобы отразить эти изменения. Функция автоматического импорта предоставляет пользователям простой и автоматизированный процесс репликации данных.
После создания процесс автоматического импорта состоит из двух этапов:
Первый этап — полная проверка синхронизации . Полная проверка синхронизации сравнивает пространство имен контейнера BLOB-объектов с пространством имен Azure Managed Lustre и импортирует новые или измененные файлы в пространство имен Azure Managed Lustre.
Второй этап — это проверка синхронизации BLOB-объектов . Проверка синхронизации BLOB-объектов начинается после завершения полной проверки синхронизации. Сканирование синхронизации BLOB-объектов постоянно отслеживает поток изменений для обновлений, импортируя новые или измененные файлы и обрабатывая удаления в пространство имен Azure Managed Lustre.
Сведения о ценах см. в документации по потоку изменений.
Предпосылки
- Вам нужна существующая файловая система Azure Managed Lustre. Его можно создать с помощью портала Azure, Azure Resource Manager или Terraform. Дополнительные сведения об интеграции BLOB-объектов см. в статье о предварительных требованиях для интеграции BLOB-объектов.
-
Журнал изменений хранилища BLOB-объектов Azure должен быть включен в учетной записи хранения, связанной с Azure Managed Lustre файловой системой.
Замечание
Канал изменений не поддерживает учетные записи хранения с включенным функцией иерархического пространства имен.
- Срок хранения канала изменений должен иметь значение 7 дней или больше. При включении канала изменений BLOB-объектов выберите «Сохранить все журналы» или укажите удаление журналов канала изменений через (в днях) на семь или больше.
- Одновременные задания интеграции BLOB-объектов не разрешены. Перед включением функции автоматического импорта необходимо отключить все задания импорта или экспорта вручную, прежде чем включить функцию автоматического импорта.
Конфигурация
Функция автоматического импорта включена для существующей файловой системы Azure Managed Lustre с настроенным контейнером хранилища Blob. Автоимпорт настраивается в параметрах интеграции Blob на портале Azure.
Чтобы создать новое задание автоматического импорта, выполните следующие действия.
На портале Azure откройте файловую систему Azure Managed Lustre. В разделе "Параметры" выберите интеграцию BLOB-объектов.
Нажмите кнопку "+ Создать задание".
В раскрывающемся меню "Тип задания " выберите "Автоматически импортировать".
Введите имя задания импорта в поле "Имя задания ".
Выберите значение для поля режима разрешения конфликтов . Этот параметр определяет, как задание импорта обрабатывает конфликты между существующими файлами в файловой системе и импортируемыми файлами. В этом примере мы выбираем "Пропустить". Дополнительные сведения см. в разделе "Режим разрешения конфликтов".
Чтобы отфильтровать данные из Blob-хранилища, введите префиксы импорта. Портал Azure позволяет вводить до 10 префиксов. В этом примере мы указываем префиксы
/dataи/logs. Дополнительные сведения см. в разделе "Импорт префикса".Определите, хотите ли вы выбрать параметр "Включить удаление", который позволяет распространение удалений из хранилища BLOB-объектов Azure в Azure Managed Lustre.
После настройки задания начните процесс импорта, нажав кнопку "Пуск".
Мониторинг и управление функцией автоматического импорта
После создания задания автоматического импорта можно отслеживать ход выполнения на портале Azure.
В области интеграции BLOB-объектов отображаются сведения о действиях импорта в разделе " Последние задания ", включая состояние последних заданий и метрик, связанных с автоматической синхронизацией.
Чтобы отменить задание, которое выполняется, выберите ссылку "Отмена " для этого задания в таблице "Последние задания ". Ссылка "Отмена" доступна только для текущего задания автоматического импорта.
Чтобы просмотреть метрики задания автоматического импорта, выберите имя задания. Область метрик появляется на правой стороне портала.
Metrics
Метрики группируются в две основные категории, полная синхронизация и синхронизация BLOB.
| Полная статистика синхронизации | Статистика для начального этапа полной синхронизации автоматического импорта |
|---|---|
| Импортированные файлы | Количество файлов, успешно импортированных из связанного контейнера блобов в пространство имен Lustre на начальной стадии полной синхронизации. |
| Импортированные каталоги | Количество каталогов, успешно импортированных в пространство имен Lustre из связанного BLOB-контейнера в ходе начального этапа полной синхронизации. |
| Импортированные символические ссылки | Количество символьных ссылок успешно импортировано в пространство имен Lustre из связанного BLOB-контейнера во время начальной полной синхронизации. |
| Предварительные файлы | Количество файлов с тем же путем и именем, которые уже существуют в пространстве имен Lustre. Файлы уже содержат ожидаемые данные и метаданные в формате соответствующего BLOB. |
| Предварительно существующие каталоги | Количество каталогов, встречающихся в пространстве имен Lustre во время начального этапа полной синхронизации, которые уже содержат ожидаемые метаданные в качестве соответствующего BLOB. |
| Уже существующие симлинки | Количество символических ссылок, обнаруженных в пространстве имен Lustre на начальном этапе полной синхронизации, которые уже содержат ожидаемые метаданные и цель в качестве соответствующего блоба. |
| Общее количество импортированных BLOB-объектов | Количество BLOB-объектов, импортированных в пространство имен Lustre из контейнера BLOB-объектов на начальном этапе полной синхронизации. Это супермножество импортированных файлов, каталогов и символьных ссылок. |
| Скорость импорта BLOB-объектов | Количество блобов, импортированных из блоба в Lustre на начальном этапе полной синхронизации. |
| Всего пройдено блобов | Количество объектов типа BLOB, просканированных на этапе полной синхронизации. |
| Частота блочного обхода | Количество blob-объектов, отсканированных в секунду на этапе полной синхронизации. |
| Всего конфликтов | Количество встреч с блобами, которые имеют одинаковый путь и имя существующего объекта в пространстве имен Lustre, но отличаются в одном или нескольких аспектах, включая тип объекта, данные и метаданные. |
| Всего ошибок | Общее количество ошибок при импорте бинарных объектов в файловую систему Lustre на начальном этапе полной синхронизации. Выберите эту ссылку, чтобы перейти на страницу "Контейнер ведения журнала ", чтобы просмотреть журналы, связанные с этим заданием автоматического импорта. |
| Статистика синхронизации Blob-объектов | Статистика активности, связанной с мониторингом потока изменений |
|---|---|
| Импортированные файлы | Количество файлов, успешно импортированных в пространство имен Lustre из связанного контейнера BLOB-объектов после начального этапа полной синхронизации. |
| Импортированные каталоги | Количество каталогов, успешно импортированных в пространство имен Lustre из связанного контейнера BLOB после начальной фазы полной синхронизации. |
| Импортированные символические ссылки | Количество символьных ссылок, успешно импортированных в пространство имен Lustre из соответствующего BLOB-контейнера после начальной полной синхронизации. |
| Предварительные файлы | Количество файлов с тем же путем и именем, которые уже существуют в пространстве имен файловой системы Lustre после начального этапа полной синхронизации и которые уже содержат ожидаемые данные и метаданные как соответствующие двоичные объекты. |
| Предварительно существующие каталоги | Количество каталогов, обнаруженных в пространстве имен Lustre после начальной фазы полной синхронизации, которые уже содержат ожидаемые метаданные как соответствующий объект-двойник. |
| Уже существующие симлинки | Количество символьных ссылок, встречающихся в пространстве имен Lustre после начальной фазы полной синхронизации, которая уже содержит ожидаемые метаданные и целевой объект в виде соответствующего блоба. |
| Общее количество импортированных BLOB-объектов | Количество BLOB-объектов, импортированных в пространство имен Lustre из контейнера BLOB-объектов после начального этапа полной синхронизации. Это супермножество импортированных файлов, каталогов и символьных ссылок. |
| Скорость импорта BLOB-объектов | Количество в секунду блобов, импортированных из блоба в файловую систему Lustre после начального этапа полной синхронизации. |
| Удаления | Количество файлов, удаленных на этапе синхронизации BLOB-объектов. |
| Всего конфликтов | Количество встреч с BLOB-объектами, которые имеют такой же путь и имя существующего объекта в пространстве имен Lustre после начального этапа полной синхронизации, но отличаются по одной или нескольким характеристикам. Например, тип объекта, данных и метаданных. |
| Всего ошибок | Общее количество сбоев импорта после начального этапа полной синхронизации. Выберите эту ссылку, чтобы перейти на страницу "Контейнер ведения журнала ", чтобы просмотреть журналы, связанные с этим заданием автоматического импорта. |
| Время использования последнего события канала изменений | Метка времени последнего события в потоке изменений, обрабатываемого для этой задачи автоматического импорта. |
| Последний раз полностью синхронизировано | Последняя метка времени, когда все события канала обновлений были обработаны для этого задания автоматического импорта. |
Соображения и передовой опыт
При использовании автоматического импорта рассмотрите следующие рекомендации для обеспечения плавной работы:
- Важно проверить поведение функции канала обновлений, в частности характеристики.
- Необходимо задать срок хранения канала изменений в семь дней или больше. При включении канала изменений BLOB-объектов выберите «Сохранить все журналы» или укажите удаление журналов канала изменений через (в днях) на семь или больше.
- Автоматический импорт зависит от потока изменений. Это ограничено своевременностью событий, опубликованных в ленте изменений. В настоящее время канал изменений предполагает, что события публикуются в считанные минуты.
- Автоматическое импортирование обычно может импортировать изменения с частотой 2000 в секунду.
- Одновременно нельзя запускать несколько заданий интеграции BLOB-объектов. После включения автоматического импорта невозможно создать дополнительные задания импорта или экспорта (вручную или автоматически).
-
lfs hsm_*команды не поддерживаются во время автоматического импорта, так как это может привести к проблемам согласованности между объектом BLOB и файловой системой Lustre.
Ниже приведены рекомендации по удалению:
Удаления — это один из способов (blob > Lustre) и применяется только в дальнейшем.
Процесс автоматического импорта всегда начинается с проверки вручную (полная синхронизация). Эта проверка не создает двунаправленное отображение и не пытается определить, был ли удален blob, если файл всё ещё существует в Lustre. В результате файлы, удалённые до включения, не удаляются во время сканирования.
Во время первоначальной проверки изменения (включая удаление) задерживаются. Все события канала изменений, включая удаления, которые происходят во время первоначального сканирования, применяются после завершения сканирования. Ожидается временный период, когда файловая система Lustre может по-прежнему отображать файлы, удаленные в контейнере объектов BLOB в процессе сканирования.
Поведение удаления явно привязано к выбранному режиму конфликта. В следующей таблице показано поведение каждого режима при включении включения удаления:
Файл, ранее измененный в Lustre? Режим разрешения конфликтов Выполнить удаление? Да Перезапись, если грязная Да. Да Пропустить Нет. Файл остается в Lustre. нет Перезапись, если грязная Да. нет Пропустить Да.
Связанный контент
- Дополнительные сведения об интеграции Azure Blob Storage с управляемыми файловыми системами Azure Lustre.