Иерархическое пространство имен Azure Data Lake Storage

Azure Data Lake Storage использует иерархическое пространство имен, что обеспечивает производительность файловой системы при масштабируемости и стоимости объектного хранилища. Эта функция упорядочивает коллекцию объектов и файлов в учетной записи в иерархию каталогов и вложенных подкаталогов, аналогичных файловой системе на компьютере. При включении иерархического пространства имен учетная запись хранения может обеспечивать масштабируемость и экономическую эффективность объектного хранилища, а также семантику файловой системы, привычную для аналитических механизмов и платформ.

Преимущества иерархического пространства имен

Файловые системы, реализующие иерархическое пространство имён поверх BLOB-данных, обеспечивают следующие преимущества:

  • Атомарное управление каталогами. Хранилища объектов выражают иерархию каталогов, внедряя символы косой черты (/) в имя объекта для обозначения сегментов пути. Хотя это соглашение работает для организации объектов, он не предоставляет никакой помощи для таких действий, как перемещение, переименование или удаление каталогов. Без настоящих каталогов приложениям может потребоваться обработать потенциально миллионы отдельных BLOB-объектов, чтобы решать задачи на уровне каталогов. Напротив, иерархическое пространство имен обрабатывает эти задачи путем обновления одной записи (родительского каталога).

    Эта оптимизация особенно важна для многих платформ аналитики больших данных. Такие инструменты, как Hive и Spark, часто записывают результаты во временный каталог, а затем по завершении задания переименовывают этот каталог. Без иерархического пространства имен эта операция переименования часто может занять больше времени, чем сам процесс аналитики. Снижение задержки выполнения задания означает снижение совокупной стоимости владения (TCO) для аналитических нагрузок.

  • Знакомый стиль интерфейса: Разработчики и пользователи также понимают файловые системы. При переходе в облако вам не нужно изучать новую парадигму хранения, так как Data Lake Storage предоставляет тот же интерфейс файловой системы, который используется компьютерами, большими и небольшими.

Одна из причин, по которым объектные хранилища исторически не поддерживали иерархическое пространство имён, заключается в том, что иерархическое пространство имён ограничивает масштабируемость. Однако иерархическое пространство имен Data Lake Storage масштабируется линейно и не снижает емкость данных или производительность.

Определите, следует ли включить иерархическое пространство имен

После включения иерархического пространства имен в учетной записи его нельзя вернуть обратно в неструктурированное пространство имен. Поэтому определите, стоит ли включать иерархическое пространство имен с учетом рабочих нагрузок хранилища объектов. Чтобы оценить влияние включения иерархического пространства имён на рабочие нагрузки, приложения, затраты, интеграции со службами, средства, функции и документацию, см. статью «Обновление хранилища BLOB-объектов Azure с возможностями Azure Data Lake Storage».

Включение иерархического пространства имен может оказаться бесполезным для некоторых рабочих нагрузок. Примеры включают резервные копии, хранилище образов и другие приложения, в которых организация объектов хранится отдельно от самих объектов (например, в отдельной базе данных).

Кроме того, хотя поддержка функций хранилища BLOB и экосистемы служб Azure продолжает расширяться, некоторые функции и службы Azure пока не поддерживаются в учетных записях с иерархическим пространством имен. См. описание известных проблем.

Рабочие нагрузки, которые выигрывают от использования иерархического пространства имен

Как правило, включите иерархическое пространство имен для рабочих нагрузок хранения, предназначенных для файловых систем, которые управляют каталогами. Это условие включает все рабочие нагрузки обработки аналитики. Наборы данных, требующие высокой степени организации, также получают преимущества от включения иерархического пространства имен.

Используйте анализ TCO, чтобы определить, следует ли включить иерархическое пространство имен. Как правило, снижение задержки рабочих нагрузок благодаря ускорению системы хранения данных означает, что вычислительные ресурсы требуются в течение меньшего времени. Задержка для многих типов рабочих нагрузок может снизиться благодаря атомарным операциям с каталогами, которые обеспечивает иерархическое пространство имен. Во многих рабочих нагрузках вычислительный ресурс представляет более 85% общих затрат, поэтому даже небольшое сокращение задержки рабочей нагрузки приравнивается к значительному объему экономии TCO. Даже в тех случаях, когда включение иерархического пространства имен увеличивает затраты на хранение, совокупная стоимость владения все равно снижается из-за сокращения затрат на вычислительные ресурсы.

Чтобы проанализировать различия в ценах на хранение данных, ценах на транзакции и ценах на резервирование емкости хранилища между учетными записями с плоским пространством имен и иерархическим пространством имен, см. цены на Azure Data Lake Storage.

Сведения о том, как включить иерархическое пространство имен, см. в статье «Создание учетной записи хранения для использования с Azure Data Lake Storage» (новые учетные записи) или «Обновление Хранилище BLOB-объектов Azure с поддержкой Azure Data Lake Storage» (существующие учетные записи).

Следующие шаги

  • Last updated on