Поделиться через


Добавление целевых объектов хранилища

Целевые объекты хранилища — это серверное хранилище для файлов, доступ к которым осуществляется через кэш Azure HPC. Вы можете добавить хранилище NFS (например, локальную аппаратную систему) или хранить данные в Azure Blob.

Кэш представляет все целевые объекты хранилища в одном агрегированном пространстве имен. Пути к пространству имен настраиваются отдельно после добавления целевых объектов хранилища.

Помните, что экспорт хранилища должен быть доступен из виртуальной сети кэша. Для локального аппаратного хранилища может потребоваться настроить DNS-сервер, который может разрешать имена узлов для доступа к хранилищу NFS. Подробнее читайте в разделе DNS-доступ.

Добавьте целевые места хранения после создания кэша. Выполните следующие действия:

  1. Создание кэша
  2. Определение целевого объекта хранения (информация в этой статье)
  3. Создание обращенных к клиенту путей (для агрегированного пространства имен)

Процедура добавления целевого хранилища немного отличается в зависимости от типа используемого хранилища. Подробная информация о каждом из них приведена ниже.

Выбор правильного типа целевого хранилища

Вы можете выбрать один из трех типов целевых объектов хранилища: NFS,BLOB и ADLS-NFS. Выберите тип, который соответствует типу системы хранения, которую вы будете использовать для хранения файлов в этом проекте HPC Cache.

Добавление нового целевого объекта хранилища BLOB-объектов Azure

Для нового целевого объекта хранилища BLOB-объектов требуется пустой контейнер BLOB-объектов или контейнер, заполненный данными в формате облачной файловой системы Azure HPC Cache. Дополнительные сведения о предварительной загрузке контейнера BLOB-объектов см. в статье Перемещение данных в хранилище BLOB-объектов Azure.

На целевой странице добавления хранилища на портале Azure можно создать контейнер BLOB-объектов непосредственно перед его добавлением.

Замечание

На портале Azure откройте экземпляр кэша и щелкните Целевые объекты хранилища на левой боковой панели.

Скриншот страницы целевого хранилища настроек > с двумя существующими целевыми объектами хранения в таблице и выделением вокруг кнопки + Добавить целевой объект хранения над таблицей

На странице Целевые объекты хранилища перечислены все существующие целевые объекты и дана ссылка для добавления нового.

Нажмите кнопку Добавить целевой объект хранилища .

снимок экрана страницы добавления целевого объекта хранилища, заполненной сведениями о новом целевом объекте хранилища BLOB-объектов Azure

Чтобы определить контейнер Azure BLOB, введите эти сведения.

  • Имя целевого объекта хранилища — задайте имя, которое идентифицирует этот целевой объект хранилища в кэше Azure HPC.

  • Целевой тип — выберите Blob.

  • Учетная запись хранения — выберите учетную запись, которую вы хотите использовать.

    Вам потребуется авторизовать экземпляр кэша для доступа к учетной записи хранения, как описано в разделе Добавление ролей доступа.

    Сведения о типе учетной записи хранения, которую можно использовать, см. в статье Требования к хранилищу BLOB-объектов.

  • Контейнер хранилища — выберите контейнер BLOB-объектов для этого целевого объекта или нажмите кнопку Создать.

    скриншот диалога для указания имени и уровня доступа (приватный) для нового контейнера

По завершении нажмите кнопку OK , чтобы добавить целевой объект хранилища.

Замечание

Если брандмауэр учетной записи хранения настроен на ограничение доступа только к "выбранным сетям", используйте временное обходное решение, описанное в разделе Обход параметров брандмауэра учетной записи хранения BLOB-объектов.

Добавьте роли управления доступом в свою учетную запись

Кэш Azure HPC использует управление доступом на основе ролей Azure (Azure RBAC) для авторизации службы кэша для доступа к учетной записи хранения для целевых объектов хранилища Azure BLOB.

Владелец учетной записи хранения должен явным образом добавить роли "Участник учетной записи хранения " и "Участник данных BLOB-объектов хранилища " для пользователя "Поставщик ресурсов кэша HPC".

Вы можете сделать это заранее или щелкнув ссылку на странице портала, где вы добавляете целевой объект хранилища BLOB-объектов. Помните, что для распространения параметров роли в среде Azure может потребоваться до пяти минут. Подождите несколько минут после добавления ролей, прежде чем создавать целевой объект хранилища.

  1. Откройте систему управления доступом (IAM) для учетной записи хранения.

  2. Нажмите Добавить>Добавить назначение роли, чтобы открыть страницу назначения роли.

  3. Назначьте следующие роли, по одной. Подробные инструкции см. в статье Назначение ролей Azure с помощью портала Microsoft Azure.

    Настройки Ценность
    Роли Соавтор учетной записи хранения
    Сотрудник по работе с BLOB-данными хранилища
    Предоставить доступ к "Поставщик ресурсов кэша HPC" или "Поставщик ресурсов StorageCache"

    Страница добавления назначения роли

Добавление нового целевого хранилища NFS

Целевой объект хранилища NFS имеет параметры, отличные от целевого объекта хранилища BLOB-объектов, включая параметр модели использования, который сообщает кэшу, как хранить данные из этой системы хранения.

Скриншот страницы добавления целевого хранилища с определенной целью NFS

Замечание

Прежде чем создавать целевой объект хранилища NFS, убедитесь, что система хранения доступна из кэша Azure HPC и соответствует требованиям к разрешениям. Создание целевого места хранилища завершится ошибкой, если кэш не может получить доступ к системе хранения. Дополнительные сведения см. в разделах Требования к хранилищу NFS и Устранение неполадок с конфигурацией NAS и целевым хранилищем NFS .

Выберите модель использования

При создании целевого объекта хранения, который использует NFS для доступа к своей системе хранения, необходимо выбрать модель использования для этого целевого объекта. Эта модель определяет способ кэширования данных.

Дополнительные сведения обо всех этих параметрах см. в статье Общие сведения о моделях использования .

Встроенные модели использования HPC Cache позволяют выбрать способ обеспечения баланса между быстрым откликом и риском получения устаревших данных. Чтобы оптимизировать скорость чтения файлов, можно отказаться от сверки файлов в кэше и файлов на сервере. В качестве альтернативы, если вы хотите быть уверены, что ваши файлы всегда актуальны в удаленном хранилище, выберите модель, которая часто проверяется.

Замечание

Кэши с высокой пропускной способностью поддерживают только кэширование чтения.

Эти три варианта охватывают большинство ситуаций:

  • Чтение тяжелых, нечастых операций записи — ускоряет доступ на чтение к статическим или редко изменяемым файлам.

    Этот параметр кэширует файлы после чтения клиентом, но немедленно передает клиентские записи во внутреннее хранилище. Файлы, хранящиеся в кэше, не сравниваются автоматически с файлами на томе хранилища NFS.

    Не используйте этот вариант, если существует риск того, что файл может быть изменен непосредственно в системе хранения без предварительной записи в кэш. В этом случае кэшированная версия файла будет рассинхронизирована с файлом серверной части.

  • Более 15% записи — этот параметр ускоряет производительность чтения и записи.

    Операции чтения и записи клиента кэшируются. Предполагается, что файлы в кэше новее, чем файлы в серверной системе хранения. Кэшированные файлы автоматически сверяются с файлами в серверном хранилище только каждые восемь часов. Измененные файлы в кэше записываются в серверную систему хранения после того, как они находятся в кэше в течение часа без каких-либо других изменений.

    Не используйте эту опцию, если какие-либо клиенты монтируют внутренний том хранилища напрямую, так как существует риск того, что в нем будут устаревшие файлы.

  • Клиенты записывают данные в целевой объект NFS, минуя кэш — выберите этот параметр, если клиенты в рабочем процессе записывают данные непосредственно в систему хранения без предварительной записи в кэш или если вы хотите оптимизировать согласованность данных.

    Файлы, запрашиваемые клиентами, кэшируются, но любые изменения в этих файлах от клиента немедленно передаются в серверную систему хранения. Файлы в кэше часто проверяются на соответствие серверным версиям на наличие обновлений. Эта проверка поддерживает согласованность данных при изменении файлов непосредственно в системе хранения, а не через кэш.

Подробнее о других вариантах см. в статье Общие сведения о моделях использования.

В этой таблице приведены различия между всеми моделями использования.

Модель использования Режим кэширования Таймер проверки Таймер обратной записи
Кэширование только для чтения Читайте 30 секунд Отсутствует
Кэширование чтения и записи Чтение и запись 8 часов 1 час

Замечание

Значение проверки серверной части отображается, когда кэш автоматически сравнивает свои файлы с исходными файлами в удаленном хранилище. Тем не менее, вы можете инициировать сравнение, отправив клиентский запрос, который включает операцию readdirplus в серверной системе хранения. Readdirplus — это стандартный API NFS (он также называется расширенным чтением), который возвращает метаданные каталога, что приводит к сравнению и обновлению файлов в кэше.

Создание целевого хранилища NFS

На портале Azure откройте экземпляр кэша и щелкните Целевые объекты хранилища на левой боковой панели.

Скриншот страницы целевого хранилища настроек > с двумя существующими целевыми объектами хранения в таблице и выделением вокруг кнопки + Добавить целевой объект хранения над таблицей

На странице Целевые объекты хранилища перечислены все существующие целевые объекты и дана ссылка для добавления нового.

Нажмите кнопку Добавить целевой объект хранилища .

Скриншот страницы добавления целевого хранилища с определенной целью NFS

Предоставьте следующие сведения для целевого хранилища на основе NFS:

  • Имя целевого объекта хранилища — задайте имя, которое идентифицирует этот целевой объект хранилища в кэше Azure HPC.

  • Target type - Выберите NFS.

  • Имя хоста — введите IP-адрес или полное доменное имя для системы хранения данных NFS. (Используйте доменное имя только в том случае, если кэш имеет доступ к DNS-серверу, который может разрешить имя.) Вы можете ввести несколько IP-адресов, если на систему хранения данных ссылается несколько IP-адресов.

  • Модель использования — выберите один из профилей кэширования данных в зависимости от рабочего процесса, описанного в разделе Выбор модели использования выше.

По завершении нажмите кнопку OK , чтобы добавить целевой объект хранилища.

Добавление нового целевого хранилища ADLS-NFS

ADLS-NFS целевые объекты хранилища используют контейнеры BLOB-объектов Azure, поддерживающие протокол сетевой файловой системы (NFS) 3.0.

Ознакомьтесь с информацией о поддержке протокола NFS 3.0 , чтобы узнать больше об этой функции.

ADLS-NFS целевые объекты хранилища имеют некоторое сходство с целевыми объектами хранилища BLOB-объектов, а некоторые — с целевыми объектами хранилища NFS. Рассмотрим пример.

  • Как и в случае с целевым объектом хранилища BLOB-объектов, необходимо предоставить Azure HPC Cache разрешение на доступ к учетной записи хранения.

  • Как и в случае с целевым хранилищем NFS, необходимо задать модель использования кэша.

  • Так как контейнеры BLOB-объектов с поддержкой NFS имеют иерархическую структуру, совместимую с NFS, вам не нужно использовать кэш для приема данных, а контейнеры доступны для чтения другими системами NFS.

    Вы можете предварительно загрузить данные в контейнер ADLS-NFS, затем добавить их в кэш HPC в качестве целевого места хранения, а затем получить доступ к данным из-за пределов кэша HPC. При использовании контейнера BLOB-объектов ценовой категории "Стандартный" в качестве целевого объекта хранения кэша HPC данные записываются в собственном формате, и доступ к ним возможен только из других продуктов, совместимых с кэшем HPC Azure.

Прежде чем создать целевой объект хранилища ADLS-NFS, необходимо создать учетную запись хранения с поддержкой NFS. Следуйте инструкциям в разделе Предварительные требования для Azure HPC Cache и инструкциям в разделе Подключение хранилища BLOB-объектов с помощью NFS. Если вы не используете одну и ту же виртуальную сеть для кэша и учетной записи хранения, убедитесь, что виртуальная сеть кэша может получить доступ к виртуальной сети учетной записи хранения.

После настройки учетной записи хранения вы можете создать новый контейнер при создании целевого объекта хранения.

Дополнительные сведения об этой конфигурации см. в статье Использование хранилища BLOB-объектов, подключенного по NFS, с кэшем Azure HPC .

Чтобы создать целевой объект хранилища ADLS-NFS, откройте страницу Добавление целевого объекта хранилища на портале Azure. (Другие методы находятся в разработке.)

Скриншот страницы добавления целевого хранилища с определенной целью ADLS-NFS

Введите эту информацию.

  • Имя целевого объекта хранилища — задайте имя, которое идентифицирует этот целевой объект хранилища в кэше Azure HPC.

  • Тип целевого объекта — выберите ADLS-NFS.

  • Учетная запись хранения — выберите учетную запись, которую вы хотите использовать. Если учетная запись хранения с поддержкой NFS отсутствует в списке, убедитесь, что она соответствует предварительным требованиям и кэш может получить к ней доступ.

    Вам потребуется авторизовать экземпляр кэша для доступа к учетной записи хранения, как описано в разделе Добавление ролей доступа.

  • Контейнер хранилища — выберите контейнер BLOB-объектов с поддержкой NFS для этого целевого объекта или нажмите кнопку Создать.

  • Модель использования — выберите один из профилей кэширования данных в зависимости от рабочего процесса, описанного в разделе Выбор модели использования выше.

По завершении нажмите кнопку OK , чтобы добавить целевой объект хранилища.

Просмотр целевых объектов хранилища

Вы можете использовать портал Azure или Azure CLI, чтобы отобразить уже определенные целевые объекты хранилища для кэша.

На портале Azure откройте экземпляр кэша и щелкните Целевые объекты хранилища, который находится под заголовком Параметры на левой боковой панели. На странице "Целевые объекты хранилища" перечислены все существующие целевые объекты и элементы управления для их добавления или удаления.

Нажмите на имя целевого объекта хранения, чтобы открыть страницу сведений о нем.

Дополнительные сведения см. в статьях Просмотр целевых объектов хранилища и управление ими и Изменение целевых объектов хранилища .

Дальнейшие шаги

После создания целевых объектов хранилища выполните следующие задачи, чтобы подготовить кэш к использованию:

Если вам нужно обновить какие-либо настройки, вы можете изменить целевой объект хранения.