Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
При создании кластеров HDInsight можно выбрать несколько разных служб хранилища Azure:
В этой статье представлены общие сведения об этих типах хранилища и их уникальных функциях.
Типы и функции хранилища
В следующей таблице перечислены службы хранилища Azure, поддерживаемые различными версиями HDInsight:
| Служба хранилища | Тип аккаунта | Тип пространства имен | Поддерживаемые службы | Поддерживаемые уровни производительности | Поддерживаемые уровни доступа | Версия HDInsight | Тип кластера |
|---|---|---|---|---|---|---|---|
| Azure Data Lake Storage Gen2 | Универсального назначения Версия 2 | Иерархическая (файловая система) | Blob | Стандарт | Горячий, Умеренный, Архив | Все | Все, кроме Spark 2.1 и 2.2 |
| Azure Storage | Универсального назначения Версия 2 | Объект | Blob | Стандарт | Горячее хранение, Холодное хранение, Архивное хранение | Все | Все |
| Azure Storage | Версия 1 общего назначения | Объект | Blob | Стандарт | N/A | Все | Все |
| Azure Storage | Хранилище BLOB-объектов** | Объект | Блочный BLOB-объект | Стандарт | Горячий, холодный, архив | Все | Все |
| Azure Data Lake Storage Gen1 | N/A | Иерархическая (файловая система) | N/A | N/A | N/A | Все | Все, кроме HBase |
| Azure Storage | Блочный BLOB-объект | Объект | Блочный BLOB-объект | Премиум | N/A | Все | Только HBase с ускорением записи |
| Azure Data Lake Storage Gen2 | Блочный BLOB-объект | Иерархическая (файловая система) | Блочный BLOB-объект | Премиум | N/A | Все | Только HBase с ускорением записи |
**Для кластеров HDInsight только вторичные учетные записи хранения могут иметь тип BLOBStorage, и страничный BLOB-объект не поддерживается.
Дополнительные сведения о типах учетных записей хранения Azure см. в обзоре учетной записи хранения Azure.
Дополнительные сведения о уровнях доступа к службе хранилища Azure см. в статье " Хранилище BLOB-объектов Azure": "Премиум" (предварительная версия), "Горячий", "Холодный" и "Архивный" уровни хранилища
Кластеры можно создавать с помощью сочетаний служб для первичного и необязательного дополнительного хранилища. В следующей таблице перечислены конфигурации хранилища кластера, которые в настоящее время поддерживаются в HDInsight:
| Версия HDInsight | Основное хранилище | Дополнительное хранилище | Поддерживается |
|---|---|---|---|
| 4.0, 5.0, 5.1 | Общее назначение V1, Общее назначение V2 | Общего назначения версии 1, общего назначения версии 2, BLOBStorage(Блочные BLOB-объекты) | Yes |
| 4.0, 5.0, 5.1 | Общего назначения версии 1, общего назначения версии 2 | Data Lake Storage Gen2 | Нет |
| 4.0, 5.0, 5.1 | Data Lake Storage Gen2 | Data Lake Storage Gen2 | Yes |
| 4.0, 5.0, 5.1 | Data Lake Storage 2-го поколения* | Общего назначения V1, общего назначения V2, Blob Storage (блочные BLOB-объекты) | Yes |
| 4.0, 5.0, 5.1 | Data Lake Storage Gen2 | Data Lake Storage Gen1 | Нет |
| 4.0, 5.0, 5.1 | Data Lake Storage Gen1 | Data Lake Storage Gen1 | Yes |
| 4.0, 5.0, 5.1 | Data Lake Storage Gen1 | Общего назначения V1, Общего назначения V2, BlobStorage (блочные BLOB-объекты) | Yes |
| 4.0, 5.0, 5.1 | Data Lake Storage Gen1 | Data Lake Storage Gen2 | Нет |
| 4.0, 5.0, 5.1 | Общего назначения версии 1, общего назначения версии 2 | Data Lake Storage Gen1 | Нет |
*=Это может быть один или несколько Data Lake Storage 2-го поколения, если все они настроены для использования одного управляемого удостоверения для доступа к кластеру.
Примечание
Основное хранилище Data Lake Storage 2-го поколения не поддерживается для кластеров Spark 2.1 или 2.2.
Репликация данных
Azure HDInsight не хранит данные клиента. Основным средством хранения для кластера являются связанные учетные записи хранения. Вы можете подключить кластер к существующей учетной записи хранения или создать новую учетную запись хранения во время процесса создания кластера. Если создается новая учетная запись, она будет создана в качестве локально избыточной учетной записи хранилища (LRS) и будет соответствовать требованиям к месту расположения данных в регионе, включая те, которые указаны на сайте глобальной инфраструктуры Azure.
Вы можете проверить правильность настройки HDInsight для хранения данных в одном регионе, убедившись, что учетная запись хранения, связанная с HDInsight, — LRS или другой вариант хранения, упомянутый на сайте глобальной инфраструктуры Azure.
Примечание
Обновление основной или вторичной учетной записи хранения работающего кластера с возможностями Azure Data Lake Storage 2-го поколения не поддерживается. Чтобы изменить тип хранилища существующего кластера HDInsight на Data Lake Storage 2-го поколения, необходимо повторно создать кластер и выбрать учетную запись хранения с поддержкой иерархического пространства имен.