Примечание
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Целевые объекты хранилища — это серверное хранилище для файлов, доступ к которым осуществляется через кэш Azure HPC. Вы можете добавить хранилище NFS (например, локальную аппаратную систему) или хранить данные в Azure Blob.
Кэш представляет все целевые объекты хранилища в одном агрегированном пространстве имен. Пути к пространству имен настраиваются отдельно после добавления целевых объектов хранилища.
Помните, что экспорт хранилища должен быть доступен из виртуальной сети кэша. Для локального аппаратного хранилища может потребоваться настроить DNS-сервер, который может разрешать имена узлов для доступа к хранилищу NFS. Подробнее читайте в разделе DNS-доступ.
Добавьте целевые места хранения после создания кэша. Выполните следующие действия:
- Создание кэша
- Определение целевого объекта хранения (информация в этой статье)
- Создание обращенных к клиенту путей (для агрегированного пространства имен)
Процедура добавления целевого хранилища немного отличается в зависимости от типа используемого хранилища. Подробная информация о каждом из них приведена ниже.
Выбор правильного типа целевого хранилища
Вы можете выбрать один из трех типов целевых объектов хранилища: NFS,BLOB и ADLS-NFS. Выберите тип, который соответствует типу системы хранения, которую вы будете использовать для хранения файлов в этом проекте HPC Cache.
NFS — создание целевого объекта хранилища NFS для доступа к данным в системе хранения данных с сетевым подключением (NAS). Это может быть локальная система хранения данных или другой тип хранилища, доступный с помощью NFS.
- Требования: требования к хранилищу NFS
- Инструкции: Добавление нового целевого объекта хранилища NFS
Blob — используйте целевое хранилище BLOB-объектов для хранения рабочих файлов в новом контейнере Azure Blob. Этот контейнер можно считывать или записывать только из кэша Azure HPC.
- Предварительные требования: требования к хранилищу BLOB-объектов
- Инструкции: добавление нового целевого объекта хранилища BLOB-объектов Azure
ADLS-NFS — целевой объект хранилища ADLS-NFS получает доступ к данным из контейнера BLOB-объектов с поддержкой NFS . Вы можете предварительно загрузить контейнер с помощью стандартных команд NFS, а файлы могут быть прочитаны позже с помощью NFS.
- Предварительные требования: требования кADLS-NFS хранилищу
- Инструкции: добавление нового целевого объекта хранилища ADLS-NFS
Добавление нового целевого объекта хранилища BLOB-объектов Azure
Для нового целевого объекта хранилища BLOB-объектов требуется пустой контейнер BLOB-объектов или контейнер, заполненный данными в формате облачной файловой системы Azure HPC Cache. Дополнительные сведения о предварительной загрузке контейнера BLOB-объектов см. в статье Перемещение данных в хранилище BLOB-объектов Azure.
На целевой странице добавления хранилища на портале Azure можно создать контейнер BLOB-объектов непосредственно перед его добавлением.
Замечание
- Для хранилища BLOB-объектов, подключенного к NFS, используйте тип целевого хранилищаADLS-NFS .
- Конфигурации кэша с высокой пропускной способностью не поддерживают стандартные целевые объекты хранилища BLOB-объектов Azure. Вместо этого используйте хранилище BLOB-объектов с поддержкой NFS (ADLS-NFS).
На портале Azure откройте экземпляр кэша и щелкните Целевые объекты хранилища на левой боковой панели.
На странице Целевые объекты хранилища перечислены все существующие целевые объекты и дана ссылка для добавления нового.
Нажмите кнопку Добавить целевой объект хранилища .
Чтобы определить контейнер Azure BLOB, введите эти сведения.
Имя целевого объекта хранилища — задайте имя, которое идентифицирует этот целевой объект хранилища в кэше Azure HPC.
Целевой тип — выберите Blob.
Учетная запись хранения — выберите учетную запись, которую вы хотите использовать.
Вам потребуется авторизовать экземпляр кэша для доступа к учетной записи хранения, как описано в разделе Добавление ролей доступа.
Сведения о типе учетной записи хранения, которую можно использовать, см. в статье Требования к хранилищу BLOB-объектов.
Контейнер хранилища — выберите контейнер BLOB-объектов для этого целевого объекта или нажмите кнопку Создать.
По завершении нажмите кнопку OK , чтобы добавить целевой объект хранилища.
Замечание
Если брандмауэр учетной записи хранения настроен на ограничение доступа только к "выбранным сетям", используйте временное обходное решение, описанное в разделе Обход параметров брандмауэра учетной записи хранения BLOB-объектов.
Добавьте роли управления доступом в свою учетную запись
Кэш Azure HPC использует управление доступом на основе ролей Azure (Azure RBAC) для авторизации службы кэша для доступа к учетной записи хранения для целевых объектов хранилища Azure BLOB.
Владелец учетной записи хранения должен явным образом добавить роли "Участник учетной записи хранения " и "Участник данных BLOB-объектов хранилища " для пользователя "Поставщик ресурсов кэша HPC".
Вы можете сделать это заранее или щелкнув ссылку на странице портала, где вы добавляете целевой объект хранилища BLOB-объектов. Помните, что для распространения параметров роли в среде Azure может потребоваться до пяти минут. Подождите несколько минут после добавления ролей, прежде чем создавать целевой объект хранилища.
Откройте систему управления доступом (IAM) для учетной записи хранения.
Нажмите Добавить>Добавить назначение роли, чтобы открыть страницу назначения роли.
Назначьте следующие роли, по одной. Подробные инструкции см. в статье Назначение ролей Azure с помощью портала Microsoft Azure.
Настройки Ценность Роли Соавтор учетной записи хранения
Сотрудник по работе с BLOB-данными хранилищаПредоставить доступ к "Поставщик ресурсов кэша HPC" или "Поставщик ресурсов StorageCache"
Добавление нового целевого хранилища NFS
Целевой объект хранилища NFS имеет параметры, отличные от целевого объекта хранилища BLOB-объектов, включая параметр модели использования, который сообщает кэшу, как хранить данные из этой системы хранения.
Замечание
Прежде чем создавать целевой объект хранилища NFS, убедитесь, что система хранения доступна из кэша Azure HPC и соответствует требованиям к разрешениям. Создание целевого места хранилища завершится ошибкой, если кэш не может получить доступ к системе хранения. Дополнительные сведения см. в разделах Требования к хранилищу NFS и Устранение неполадок с конфигурацией NAS и целевым хранилищем NFS .
Выберите модель использования
При создании целевого объекта хранения, который использует NFS для доступа к своей системе хранения, необходимо выбрать модель использования для этого целевого объекта. Эта модель определяет способ кэширования данных.
Дополнительные сведения обо всех этих параметрах см. в статье Общие сведения о моделях использования .
Встроенные модели использования HPC Cache позволяют выбрать способ обеспечения баланса между быстрым откликом и риском получения устаревших данных. Чтобы оптимизировать скорость чтения файлов, можно отказаться от сверки файлов в кэше и файлов на сервере. В качестве альтернативы, если вы хотите быть уверены, что ваши файлы всегда актуальны в удаленном хранилище, выберите модель, которая часто проверяется.
Замечание
Кэши с высокой пропускной способностью поддерживают только кэширование чтения.
Эти три варианта охватывают большинство ситуаций:
Чтение тяжелых, нечастых операций записи — ускоряет доступ на чтение к статическим или редко изменяемым файлам.
Этот параметр кэширует файлы после чтения клиентом, но немедленно передает клиентские записи во внутреннее хранилище. Файлы, хранящиеся в кэше, не сравниваются автоматически с файлами на томе хранилища NFS.
Не используйте этот вариант, если существует риск того, что файл может быть изменен непосредственно в системе хранения без предварительной записи в кэш. В этом случае кэшированная версия файла будет рассинхронизирована с файлом серверной части.
Более 15% записи — этот параметр ускоряет производительность чтения и записи.
Операции чтения и записи клиента кэшируются. Предполагается, что файлы в кэше новее, чем файлы в серверной системе хранения. Кэшированные файлы автоматически сверяются с файлами в серверном хранилище только каждые восемь часов. Измененные файлы в кэше записываются в серверную систему хранения после того, как они находятся в кэше в течение часа без каких-либо других изменений.
Не используйте эту опцию, если какие-либо клиенты монтируют внутренний том хранилища напрямую, так как существует риск того, что в нем будут устаревшие файлы.
Клиенты записывают данные в целевой объект NFS, минуя кэш — выберите этот параметр, если клиенты в рабочем процессе записывают данные непосредственно в систему хранения без предварительной записи в кэш или если вы хотите оптимизировать согласованность данных.
Файлы, запрашиваемые клиентами, кэшируются, но любые изменения в этих файлах от клиента немедленно передаются в серверную систему хранения. Файлы в кэше часто проверяются на соответствие серверным версиям на наличие обновлений. Эта проверка поддерживает согласованность данных при изменении файлов непосредственно в системе хранения, а не через кэш.
Подробнее о других вариантах см. в статье Общие сведения о моделях использования.
В этой таблице приведены различия между всеми моделями использования.
Модель использования | Режим кэширования | Таймер проверки | Таймер обратной записи |
---|---|---|---|
Кэширование только для чтения | Читайте | 30 секунд | Отсутствует |
Кэширование чтения и записи | Чтение и запись | 8 часов | 1 час |
Замечание
Значение проверки серверной части отображается, когда кэш автоматически сравнивает свои файлы с исходными файлами в удаленном хранилище. Тем не менее, вы можете инициировать сравнение, отправив клиентский запрос, который включает операцию readdirplus в серверной системе хранения. Readdirplus — это стандартный API NFS (он также называется расширенным чтением), который возвращает метаданные каталога, что приводит к сравнению и обновлению файлов в кэше.
Создание целевого хранилища NFS
На портале Azure откройте экземпляр кэша и щелкните Целевые объекты хранилища на левой боковой панели.
На странице Целевые объекты хранилища перечислены все существующие целевые объекты и дана ссылка для добавления нового.
Нажмите кнопку Добавить целевой объект хранилища .
Предоставьте следующие сведения для целевого хранилища на основе NFS:
Имя целевого объекта хранилища — задайте имя, которое идентифицирует этот целевой объект хранилища в кэше Azure HPC.
Target type - Выберите NFS.
Имя хоста — введите IP-адрес или полное доменное имя для системы хранения данных NFS. (Используйте доменное имя только в том случае, если кэш имеет доступ к DNS-серверу, который может разрешить имя.) Вы можете ввести несколько IP-адресов, если на систему хранения данных ссылается несколько IP-адресов.
Модель использования — выберите один из профилей кэширования данных в зависимости от рабочего процесса, описанного в разделе Выбор модели использования выше.
По завершении нажмите кнопку OK , чтобы добавить целевой объект хранилища.
Добавление нового целевого хранилища ADLS-NFS
ADLS-NFS целевые объекты хранилища используют контейнеры BLOB-объектов Azure, поддерживающие протокол сетевой файловой системы (NFS) 3.0.
Ознакомьтесь с информацией о поддержке протокола NFS 3.0 , чтобы узнать больше об этой функции.
ADLS-NFS целевые объекты хранилища имеют некоторое сходство с целевыми объектами хранилища BLOB-объектов, а некоторые — с целевыми объектами хранилища NFS. Рассмотрим пример.
Как и в случае с целевым объектом хранилища BLOB-объектов, необходимо предоставить Azure HPC Cache разрешение на доступ к учетной записи хранения.
Как и в случае с целевым хранилищем NFS, необходимо задать модель использования кэша.
Так как контейнеры BLOB-объектов с поддержкой NFS имеют иерархическую структуру, совместимую с NFS, вам не нужно использовать кэш для приема данных, а контейнеры доступны для чтения другими системами NFS.
Вы можете предварительно загрузить данные в контейнер ADLS-NFS, затем добавить их в кэш HPC в качестве целевого места хранения, а затем получить доступ к данным из-за пределов кэша HPC. При использовании контейнера BLOB-объектов ценовой категории "Стандартный" в качестве целевого объекта хранения кэша HPC данные записываются в собственном формате, и доступ к ним возможен только из других продуктов, совместимых с кэшем HPC Azure.
Прежде чем создать целевой объект хранилища ADLS-NFS, необходимо создать учетную запись хранения с поддержкой NFS. Следуйте инструкциям в разделе Предварительные требования для Azure HPC Cache и инструкциям в разделе Подключение хранилища BLOB-объектов с помощью NFS. Если вы не используете одну и ту же виртуальную сеть для кэша и учетной записи хранения, убедитесь, что виртуальная сеть кэша может получить доступ к виртуальной сети учетной записи хранения.
После настройки учетной записи хранения вы можете создать новый контейнер при создании целевого объекта хранения.
Дополнительные сведения об этой конфигурации см. в статье Использование хранилища BLOB-объектов, подключенного по NFS, с кэшем Azure HPC .
Чтобы создать целевой объект хранилища ADLS-NFS, откройте страницу Добавление целевого объекта хранилища на портале Azure. (Другие методы находятся в разработке.)
Введите эту информацию.
Имя целевого объекта хранилища — задайте имя, которое идентифицирует этот целевой объект хранилища в кэше Azure HPC.
Тип целевого объекта — выберите ADLS-NFS.
Учетная запись хранения — выберите учетную запись, которую вы хотите использовать. Если учетная запись хранения с поддержкой NFS отсутствует в списке, убедитесь, что она соответствует предварительным требованиям и кэш может получить к ней доступ.
Вам потребуется авторизовать экземпляр кэша для доступа к учетной записи хранения, как описано в разделе Добавление ролей доступа.
Контейнер хранилища — выберите контейнер BLOB-объектов с поддержкой NFS для этого целевого объекта или нажмите кнопку Создать.
Модель использования — выберите один из профилей кэширования данных в зависимости от рабочего процесса, описанного в разделе Выбор модели использования выше.
По завершении нажмите кнопку OK , чтобы добавить целевой объект хранилища.
Просмотр целевых объектов хранилища
Вы можете использовать портал Azure или Azure CLI, чтобы отобразить уже определенные целевые объекты хранилища для кэша.
На портале Azure откройте экземпляр кэша и щелкните Целевые объекты хранилища, который находится под заголовком Параметры на левой боковой панели. На странице "Целевые объекты хранилища" перечислены все существующие целевые объекты и элементы управления для их добавления или удаления.
Нажмите на имя целевого объекта хранения, чтобы открыть страницу сведений о нем.
Дополнительные сведения см. в статьях Просмотр целевых объектов хранилища и управление ими и Изменение целевых объектов хранилища .
Дальнейшие шаги
После создания целевых объектов хранилища выполните следующие задачи, чтобы подготовить кэш к использованию:
- Настройка агрегированного пространства имен
- Подключите кеш HPC Azure
- Перенос данных в хранилище Blob-объектов Azure
Если вам нужно обновить какие-либо настройки, вы можете изменить целевой объект хранения.