Поделиться через

Управление кластерами HDInsight с помощью веб-интерфейса Apache Ambari

  • Статья

Apache Ambari упрощает управление функционированием кластера Apache Hadoop и наблюдение за ним. Это упрощение выполняется путем упрощения использования веб-интерфейса и REST API. Ambari предоставляется с кластерами HDInsight и используется для мониторинга кластера и внесения изменений в его конфигурацию.

В этом документе вы узнаете, как использовать веб-интерфейс Ambari с кластером HDInsight.

Что такое Apache Ambari?

Apache Ambari упрощает управление Hadoop, предоставляя удобный веб-интерфейс. С помощью Ambari можно управлять кластерами Hadoop и отслеживать их. Разработчики могут интегрировать эти возможности в свои приложения с помощью REST API Ambari.

Связь

Веб-интерфейс Ambari доступен в кластере HDInsight https://CLUSTERNAME.azurehdinsight.net, где CLUSTERNAME — имя кластера.

Это важно

Для подключения к Ambari в HDInsight требуется ПРОТОКОЛ HTTPS. При появлении запроса на проверку подлинности используйте имя учетной записи администратора и пароль, указанные при создании кластера. Если вас не запрашивают учетные данные, проверьте параметры сети, чтобы подтвердить отсутствие проблем с подключением между клиентом и кластерами Azure HDInsight.

Туннель SSH (прокси-сервер)

Хотя Ambari для вашего кластера доступен прямо через Интернет, некоторые ссылки из веб-интерфейса Ambari (например, на JobTracker) не доступны в Интернете. Чтобы получить доступ к этим службам, необходимо создать туннель SSH. Дополнительные сведения см. в статье Использование туннелирования SSH с HDInsight.

Веб-интерфейс Ambari

Предупреждение

Не все функции веб-интерфейса Ambari поддерживаются в HDInsight. Дополнительные сведения см. в разделе Неподдерживаемые операции этого документа.

При подключении к веб-интерфейсу Ambari вам будет предложено пройти проверку подлинности на странице. Используйте пользователя администратора кластера (администратор по умолчанию) и пароль, который использовался во время создания кластера.

Когда откроется страница, обратите внимание на панель сверху. Эта панель содержит следующие сведения и элементы управления:

Обзор панели мониторинга Apache Ambari.

Товар Описание
Логотип Ambari Открывает панель мониторинга, которую можно использовать для мониторинга кластера.
Имя кластера # ops Отображает количество текущих операций Ambari. При выборе имени кластера или # отображается список фоновых операций.
Оповещения # Отображает предупреждения или критические оповещения, если таковые имеются в кластере.
Панель управления Отображает панель мониторинга.
Услуги Сведения и параметры конфигурации для служб в кластере.
Хозяева Сведения и параметры конфигурации для узлов в кластере.
Уведомления Журнал сведений, предупреждений и критически важных оповещений.
Администратор Стек программного обеспечения/службы, установленные на кластере, информация об учетной записи службы и безопасность Kerberos.
Кнопка "Администратор" Управление Ambari, параметры пользователя и выход.

Контроль

Уведомления

Следующий список содержит общие состояния оповещений, используемые Ambari:

  • OK
  • Предупреждения
  • КРИТИЧЕСКИЙ;
  • UNKNOWN

Оповещения, отличные от ОК, приводят к тому, что запись # оповещений в верхней части страницы отображает количество оповещений. При выборе этой записи отображаются оповещения и их состояние.

Оповещения организованы в несколько групп по умолчанию, которые можно просмотреть на странице Оповещения.

сводка по оповещениям Apache Ambari.

Можно управлять группами с помощью меню Действия и выбора Управление группами оповещений.

Apache Ambari управляют группами оповещений.

Вы управляете методами оповещения и создаете уведомления из меню Действия, выбрав Управление уведомлениями. Отображаются все текущие уведомления. Создайте уведомления отсюда. Уведомления можно отправлять с помощью электронной почты или SNMP при возникновении конкретных сочетаний уведомлений и уровня серьезности. Например, вы можете отправить сообщение электронной почты, если для любой из оповещений в группе YARN по умолчанию задано значение критически важных.

Apache Ambari создайте уведомление об оповещении.

Наконец, выбор управление параметрами оповещений в меню действия позволяет задать количество случаев, когда оповещение должно происходить перед отправкой уведомления. Этот параметр можно использовать для предотвращения уведомлений о временных ошибках.

Для руководства по настройке оповещений с использованием бесплатной учетной записи SendGridсм. "Настройка уведомлений по электронной почте Apache Ambari в Azure HDInsight".

Кластер

Вкладка метрик панели мониторинга содержит ряд виджетов, которые упрощают мониторинг состояния вашего кластера. Несколько мини-приложений, таких как использование ЦП, предоставляют дополнительные сведения при нажатии.

панели мониторинга Apache Ambari с метриками.

На вкладке тепловых карт метрики отображаются в виде цветных тепловых карт, переходящих от зеленого к красному.

панель мониторинга Apache Ambari с тепловыми картами.

Дополнительные сведения об узлах в кластере выберите Узлы. Затем выберите нужный узел.

обзорные сведения о хосте Apache Ambari.

Услуги

Боковая панель служб на панели мониторинга предоставляет краткие сведения о состоянии служб, работающих в кластере. Различные значки используются для указания состояния или действий, которые следует предпринять. Например, желтый знак переработки отображается, если службу необходимо перезапустить.

боковой панели служб Apache Ambari.

Примечание.

Службы, отображаемые в кластерах HDInsight, различаются в зависимости от их типов и версий. Службы, отображаемые здесь, могут отличаться от служб, отображаемых для кластера.

При выборе службы отображаются более подробные сведения о службе.

сводные сведения о службе Apache Ambari.

Некоторые службы отображают ссылку быстрых ссылок в верхней части страницы. Эту ссылку можно использовать для доступа к веб-интерфейсам для конкретной службы, например:

  • История заданий — история заданий MapReduce.
  • Resource Manager — пользовательский интерфейс YARN Resource Manager.
  • NameNode — пользовательский интерфейс NameNode распределенной файловой системы Hadoop (HDFS).
  • веб-интерфейс Oozie — Пользовательский интерфейс Oozie.

При выборе любой из этих ссылок откроется новая вкладка в браузере, на которой отображается выбранная страница.

Примечание.

Выбор записи быстрых ссылок для службы может вернуть ошибку "сервер не найден". При возникновении этой ошибки вам необходимо использовать туннель SSH, применяя функцию быстрого доступа для этой службы. Дополнительные сведения см. в разделе Использование туннелирования SSH с HDInsight

Управление

Пользователи, группы и разрешения Ambari

Поддерживается работа с пользователями, группами и разрешениями. Сведения о локальном администрировании см. в разделе Авторизация пользователей для представлений Apache Ambari. Сведения о присоединенных к домену кластерах см. в статье Управление присоединенными к домену кластерами HDInsight.

Предупреждение

Не удаляйте и не изменяйте пароль Ambari watchdog (hdinsightwatchdog) в кластере HDInsight на базе Linux. Изменение пароля лишает возможности использовать действия сценария или выполнять операции масштабирования в вашем кластере.

Хозяева

На странице хосты перечислены все хосты кластера. Чтобы управлять хостами, выполните следующие действия.

обзор страницы хостов Apache Ambari.

Примечание.

Добавление, вывод из эксплуатации и повторное введение в эксплуатацию узла не должны использоваться с кластерами HDInsight.

  1. Выберите узел, которым вы хотите управлять.

  2. Используйте меню действия, чтобы выбрать действие, которое вы хотите выполнить:

    Товар Описание
    Запуск всех компонентов Запустите все компоненты на хосте.
    Остановка всех компонентов Остановите все компоненты на хосте.
    Перезапустите все компоненты Остановите и запустите все компоненты на узле.
    Включение режима обслуживания Подавляет оповещения для узла. Этот режим следует включить, если вы выполняете действия, которые создают оповещения. Например, остановка и запуск службы.
    Отключение режима обслуживания Возвращает сервер в нормальный режим оповещения.
    Остановка Останавливает DataNode или NodeManagers на узле.
    Запуск Запускает DataNode или NodeManagers на узле.
    Перезапуск Останавливает и запускает DataNode или NodeManager на хосте.
    Вывод из эксплуатации Удаляет узел из кластера. не используйте это действие в кластерах HDInsight.
    Повторное восстановление Добавляет ранее выведенный из эксплуатации хост в кластер. не используйте это действие в кластерах HDInsight.

Услуги

На странице панели мониторинга или службы нажмите кнопку Действия в нижней части списка служб, чтобы остановить и запустить все службы.

Список действий службы Apache Ambari.

Предупреждение

Новые сервисы следует добавлять с помощью действия скрипта во время подготовки кластера. Дополнительные сведения об использовании действий скриптов см. в статье Настройка кластеров HDInsight с помощью действий скриптов.

Хотя кнопка «Действия» может перезапустить все службы, часто требуется запустить, остановить или перезапустить конкретную службу. Выполните следующие действия в отдельной службе:

  1. На странице панели мониторинга или странице служб выберите службу.

  2. В верхней части вкладки "Сводка" нажмите кнопку "Действия Службы" и выберите необходимое действие. Это действие перезапускает службу на всех узлах.

    действия отдельных служб Apache Ambari.

    Примечание.

    Перезапуск некоторых служб во время работы кластера может создавать оповещения. Чтобы избежать оповещений, можно использовать кнопку действий службы, чтобы включить режим обслуживания для службы перед выполнением перезагрузки.

  3. После выбора действия запись # op в верхней части страницы увеличивается на единицу, чтобы показать, что происходит фоновая операция. Если настроено отображение, отображается список фоновых операций.

    Примечание.

    Если вы включили режим обслуживания для службы, не забудьте отключить его с помощью кнопки действий службы после завершения операции.

Чтобы настроить службу, выполните следующие действия.

  1. На панели мониторинга или на странице службы откройте услугу.

  2. Перейдите на вкладку конфигурации. Отображается текущая конфигурация. Также отображается список предыдущих конфигураций.

    конфигурация службы Apache Ambari.

  3. Используйте поля, отображаемые для изменения конфигурации, а затем выберите Сохранить. Или выберите предыдущую конфигурацию, а затем выберите Назначить текущей, чтобы вернуться к предыдущим настройкам.

Представления Ambari

Представления Ambari позволяют разработчикам подключать элементы пользовательского интерфейса к веб-интерфейсу Ambari с помощью Платформы представлений Apache Ambari. HDInsight предоставляет следующие представления с типами кластеров Hadoop:

  • Представление Hive: представление Hive позволяет выполнять запросы Hive непосредственно из веб-браузера. Вы можете сохранять запросы, просматривать результаты, сохранять результаты в хранилище кластера или скачивать результаты в локальную систему. Дополнительные сведения об использовании представлений Hive см. в статье Использование представлений Apache Hive с HDInsight.

  • Представление Tez: Представление Tez позволяет лучше понять и оптимизировать задания. Вы можете просмотреть сведения о выполнении заданий Tez и используемых ресурсах.

Неподдерживаемые операции

В HDInsight не поддерживаются следующие операции Ambari:

  • Перемещение службы сборщика метрик. При просмотре сведений о службе сборщика метрик одно из действий, доступных в меню "Действия службы", перемещение сборщика метрик. Это действие не поддерживается в HDInsight.

Дальнейшие действия