Управление кластерами Apache Hadoop в HDInsight с помощью портала Azure

С помощью портал Azure можно управлять кластерами Apache Hadoop в Azure HDInsight. Используйте селектор вкладок для управления кластерами Hadoop в HDInsight с помощью других средств.

Требования

Существующий кластер Apache Hadoop в HDInsight. Дополнительные сведения см. в статье "Создание кластеров на основе Linux в HDInsight с помощью портал Azure".

Начало работы

Войдите на портал.

Список и отображение кластеров

На странице кластеров HDInsight перечислены существующие кластеры . На портале

  1. В меню слева выберите Все службы.
  2. В разделе АНАЛИТИКА выберите Кластеры HDInsight.

Домашняя страница кластера

На странице кластеров HDInsight выберите имя кластера. Откроется панель обзора и выглядит примерно так, как показано на следующем рисунке.

Снимок экрана, на котором показаны основные сведения о кластере HDInsight портала Azure.

Верхнее меню

Элемент Описание
Передвинуть Перемещает кластер в другую группу ресурсов или подписку.
Удаление Удаляет кластер.
Обновить Обновляет представление.

Меню слева

В меню слева несколько разделов.

Меню в верхнем левом углу

Элемент Описание
Обзор Укажите общие сведения для кластера.
Журнал действий Отображение и запрашивание журналов действий.
Управление доступом (IAM) Назначьте роли. См. статью Назначение ролей Azure для управления доступом к ресурсам подписки Azure.
Теги Задайте пары "ключ-значение", чтобы определить настраиваемую таксономию облачных служб. Например, можно создать ключ с именем проекта, а затем использовать общее значение для всех служб, связанных с определенным проектом.
Диагностика и решение проблем Отображение сведений об устранении неполадок.
Краткое руководство Отображение сведений, помогающих приступить к работе с HDInsight.
Инструменты Справочная информация по инструментам, связанным с HDInsight.

Меню параметров

Элемент Описание
Размер кластера Проверка, увеличение и уменьшение количества рабочих узлов кластера. См. раздел о масштабировании кластеров.
Лимиты квот Покажите используемые и доступные ядра для вашей подписки.
SSH + имя входа в кластер Отображение инструкций по подключению к кластеру с помощью подключения Secure Shell (SSH). Дополнительные сведения см. в статье Подключение к HDInsight (Hadoop) с помощью SSH.
Azure Data Lake Storage 2-го поколения Настройте доступ к Data Lake Storage 2-го поколения. Дополнительные сведения см. в статье Краткое руководство по установке кластеров в HDInsight.
Учетные записи хранения Просмотр учетных записей хранения и ключей. Учетные записи хранения настраиваются во время создания кластера.
Приложения Добавление или удаление приложений HDInsight. Ознакомьтесь со статьей Установка пользовательских приложений HDInsight.
Действия скриптов Выполнение bash-скриптов в кластере. См. статью Настройка кластеров HDInsight под управлением Linux с помощью действия сценария.
Внешние хранилища метаданных просмотр метахранилищ Apache Hive и Apache Oozie. Хранилища метаданных можно настроить только во время процесса создания кластера.
Партнер HDInsight Добавьте или удалите текущего партнера HDInsight.
Свойства Просмотр свойств кластера.
Блокировки Добавьте блокировку, чтобы предотвратить изменение или удаление кластера.
Экспорт шаблона Отображение и экспорт шаблона Azure Resource Manager для кластера. В настоящее время можно экспортировать только зависимую учетную запись хранилища Azure. См. статью "Создание кластеров Apache Hadoop на основе Linux в HDInsight с помощью шаблонов Azure Resource Manager".

Меню "Мониторинг"

Элемент Описание
Оповещения Управление оповещениями и действиями.
Метрики Мониторьте метрики кластера в журналах Azure Monitor.
Параметры диагностики Задайте место для хранения метрик диагностики.
Azure Monitor Мониторинг кластера в Azure Monitor.

Меню "Поддержка и устранение неполадок"

Элемент Описание
Работоспособность ресурса См. Обзор состояния ресурсов Azure.
Новый запрос в службу поддержки Создайте запрос в службу поддержки Майкрософт.

Свойства кластера

На домашней странице кластера в разделе "Параметры" выберите "Свойства".

Элемент Описание
ИМЯ УЗЛА Имя кластера
URL-адрес КЛАСТЕРА URL-адрес веб-интерфейса Ambari.
Частная конечная точка Частная конечная точка кластера.
Безопасная оболочка Имя пользователя и узла, которые будут использоваться для доступа к кластеру через SSH.
СТАТУС Одно из прерванных, принятых, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, в работе, ошибка, Удаление, удалено, тайм-аут, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued или ClusterCustomization.
ОБЛАСТЬ Расположение Azure. Для получения списка поддерживаемых расположений Azure используйте раскрывающееся меню регионов на странице с ценами на HDInsight.
ДАТА СОЗДАНИЯ Дата развертывания кластера.
ОПЕРАЦИОННАЯ СИСТЕМА Windows или Linux.
TYPE Hadoop, HBase или Spark.
Версия См. статью о поддерживаемых версиях HDInsight.
Минимальная версия TLS Версия протокола безопасности транспортного уровня (TLS).
ПОДПИСКА Имя подписки.
ИСТОЧНИК ДАННЫХ ПО УМОЛЧАНИЮ Файловая система кластера по умолчанию.
Размеры рабочих узлов Выбранный размер виртуальной машины (ВМ) для рабочих узлов.
Размер головного узла Выбранный размер виртуальной машины для головных узлов.
Виртуальная сеть Имя виртуальной сети, в которой развертывается кластер, если он был выбран во время развертывания.

Перемещение кластеров

Кластер HDInsight можно переместить в другую группу ресурсов Azure или в другую подписку.

На домашней странице кластера:

  1. В верхнем меню выберите "Переместить".

  2. Выберите команду Переместить в другую группу ресурсов или Переместить в другую подписку.

  3. Следуйте инструкциям на новой странице.

Удаление кластеров

Удаление кластера не удаляет учетную запись хранения по умолчанию или связанные учетные записи хранения. Вы всегда сможете заново создать кластер, указав те же учетные записи хранения и те же метахранилища. Рекомендуется использовать новый контейнер BLOB-объектов по умолчанию при повторном создании кластера.

На домашней странице кластера:

  1. В верхнем меню выберите "Удалить".
  2. Следуйте инструкциям на новой странице.

Дополнительные сведения см. в статье "Приостановка или завершение работы кластеров".

Добавление дополнительных учетных записей хранения

После создания кластера можно добавить дополнительные учетные записи хранилища Azure и учетные записи Azure Data Lake Storage. Дополнительные сведения см. в статье Добавление дополнительных учетных записей хранения в HDInsight.

Масштабирование кластеров

Вы можете использовать функцию масштабирования кластера для изменения количества рабочих узлов, используемых кластером HDInsight, без необходимости повторного создания кластера.

Дополнительные сведения см. в статье Масштабирование кластеров HDInsight.

Приостановка или завершение работы кластеров

Большинство заданий Hadoop — это пакетные задания, которые выполняются только иногда. Для большинства кластеров Hadoop существует большой период времени, когда кластер не используется для обработки. В случае с HDInsight ваши данные хранятся в службе хранилища Azure, что позволяет безопасно удалить неиспользуемый кластер. Плата за кластеры HDInsight взимается, даже когда они не используются. Так как плата за кластер во многих случаях превышает расходы на хранение, экономия позволяет удалять кластеры, если они не используются.

Вы можете запрограммить процесс различными способами. Вы можете использовать:

Чтобы узнать о ценах, см. Цены на HDInsight. Сведения о удалении кластера на портале см. в разделе "Удаление кластеров".

Обновление кластеров

Дополнительные сведения см. в статье Об обновлении кластера HDInsight до более новой версии.

Открытие веб-интерфейса Apache Ambari

Ambari предоставляет интуитивно понятный и простой веб-интерфейс управления Hadoop, поддерживаемый его API RESTful. С помощью Ambari системные администраторы могут управлять кластерами Hadoop и отслеживать их.

На домашней странице кластера:

  1. Выберите Панели мониторинга кластера.

    Снимок экрана: меню кластера HDInsight Apache Hadoop.

  2. На новой странице выберите Ambari home.

  3. Введите имя пользователя для входа в кластер и пароль. Имя пользователя кластера по умолчанию — admin.

Дополнительные сведения см. в разделе "Управление кластерами HDInsight" с помощью веб-интерфейса Apache Ambari.

Изменение паролей

Кластер HDInsight может иметь две учетные записи пользователя. Учетная запись пользователя кластера HDInsight (учетная запись пользователя HTTP) и учетная запись пользователя SSH создаются во время создания кластера. Портал можно использовать для изменения пароля учетной записи пользователя кластера и использования действий скрипта для изменения учетной записи пользователя SSH.

Изменение пароля пользователя кластера

Примечание.

Изменение пароля пользователя кластера (администратора) может привести к сбою действий скриптов, выполняемых в этом кластере. Если у вас есть какие-либо сохраненные действия скрипта, предназначенные для рабочих узлов, эти скрипты могут завершиться ошибкой при добавлении узлов в кластер с помощью операций изменения размера. Дополнительные сведения о действиях скриптов см. в статье "Настройка кластеров HDInsight с помощью действий скрипта".

На домашней странице кластера:

  1. В разделе "Параметры" выберите SSH + Имя входа в кластер.
  2. Выберите команду Сбросить учетные данные.
  3. Введите и подтвердите новый пароль в текстовых полях.
  4. Нажмите ОК.

Пароль изменяется на всех узлах кластера.

Изменение пароля пользователя или открытого ключа SSH

  1. Используйте текстовый редактор для сохранения следующего текста в виде файла с именем changecredentials.sh.

    Внимание

    Необходимо использовать редактор, который использует LF в качестве конца строки. Если редактор использует CRLF, скрипт не работает.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Отправьте файл в расположение хранилища, к которому можно получить доступ из HDInsight с помощью адреса HTTP или HTTPS. Примером является общедоступное хранилище файлов, например OneDrive или Хранилище BLOB-объектов Azure. Сохраните URI (HTTP или HTTPS-адрес) в файл. Универсальный код ресурса (URI) необходим на следующем шаге.

  3. На домашней странице кластера в разделе "Параметры" выберите "Действия скрипта".

  4. На странице действий скрипта нажмите кнопку "Отправить новое".

  5. На странице действия "Отправить скрипт" введите сведения в следующей таблице.

    Примечание.

    Пароли SSH не могут содержать следующие символы: " ' / < \ % ~ | $ & ! #

    Поле значение
    Тип скрипта Выберите — настраиваемый из раскрывающегося списка.
    Имя "Изменение учетных данных ssh".
    URI скрипта Bash URI для файла changecredentials.sh.
    Типы узлов: Head, Worker, Nimbus, Supervisor или ZooKeeper Выберите ✓ для всех типов узлов, перечисленных.
    Параметры Введите имя пользователя SSH и введите новый пароль. Между именем пользователя и паролем должно быть только одно пространство.
    Сохраните это действие скрипта ... Оставьте это поле ясным.

  6. Выберите Создать, чтобы применить сценарий. После завершения скрипта можно подключиться к кластеру с помощью SSH с новыми учетными данными.

Поиск идентификатора подписки

Каждый кластер привязывается к подписке Azure. Идентификатор подписки Azure отображается на домашней странице кластера.

Поиск группы ресурсов

В режиме Resource Manager каждый кластер HDInsight создается с группой Resource Manager. Группа Resource Manager отображается на домашней странице кластера.

Поиск учетных записей хранения

Кластеры HDInsight используют учетную запись службы хранилища Azure или Data Lake Storage для хранения данных. Каждый кластер HDInsight может иметь одну учетную запись хранения по умолчанию и многие связанные учетные записи хранения. Чтобы получить список учетных записей хранения, на домашней странице кластера в разделе "Параметры" выберите учетные записи хранения.

Мониторинг заданий

Дополнительные сведения см. в разделе "Управление кластерами HDInsight" с помощью веб-интерфейса Apache Ambari.

Размер кластера

Плитка размера кластера на домашней странице кластера отображает количество ядер, выделенных этому кластеру, и способ их выделения для узлов в этом кластере.

Внимание

Чтобы отслеживать службы, предоставляемые кластером HDInsight, необходимо использовать веб-интерфейс Ambari или REST API Ambari. Дополнительные сведения об использовании Ambari см. в статье "Управление кластерами HDInsight с помощью Apache Ambari".

Подключение к кластеру

Связанный контент

Из этой статьи вы узнали о некоторых основных функциях администрирования. Дополнительные сведения см. в следующих разделах:

  • Last updated on