Поделиться через

Оптимизация кластеров с помощью Apache Ambari в Azure HDInsight

  • Статья

HDInsight предоставляет кластеры Apache Hadoop для крупномасштабных приложений обработки данных. Управление, мониторинг и оптимизация этих сложных кластеров с несколькими узлами может быть сложной задачей. Apache Ambari — это веб-интерфейс для управления кластерами HDInsight Linux и управления ими.

Общие сведения об использовании веб-интерфейса Ambari см. в статье "Управление кластерами HDInsight с помощью веб-интерфейса Apache Ambari"

Войдите в Ambari по адресу https://CLUSTERNAME.azurehdidnsight.net с помощью учетных данных кластера. На начальном экране показана панель мониторинга с общими сведениями.

Отображается панель мониторинга пользователя Apache Ambari.

Веб-интерфейс Ambari используется для управления узлами, службами, оповещениями, конфигурациями и представлениями. Ambari нельзя использовать для создания кластера HDInsight или обновления служб. Кроме того, нельзя управлять стеками и версиями, выводом из эксплуатации или повторным вводом узлов, и добавлять службы в кластер.

Управление конфигурацией кластера

Параметры конфигурации помогают настроить определенную службу. Чтобы изменить параметры конфигурации службы, выберите службу на боковой панели служб (слева). Затем перейдите на вкладку "Конфигурации" на странице сведений о службе.

Боковая панель служб Apache Ambari.

Изменение размера кучи Java NameNode

Размер кучи Java NameNode зависит от многих факторов, таких как нагрузка в кластере. Кроме того, количество файлов и количество блоков. Размер по умолчанию в 1 ГБ хорошо работает с большинством кластеров, хотя для некоторых рабочих нагрузок может потребоваться больше или меньше памяти.

Чтобы изменить размер кучи Java NameNode, выполните следующие действия.

  1. Выберите HDFS на боковой панели служб и перейдите на вкладку "Конфигурации ".

    Конфигурация HDFS Apache Ambari.

  2. Найдите параметр "Размер кучи Java NameNode". Можно также использовать текстовое поле фильтра для ввода и поиска определенного параметра. Щелкните значок пера рядом с именем параметра.

    Размер кучи Java для Apache Ambari

  3. Введите новое значение в текстовом поле и нажмите клавишу ВВОД , чтобы сохранить изменение.

    Редактирование размера кучи Java для NameNode в Ambari.

  4. Размер кучи Java NameNode изменяется на 1 ГБ с 2 ГБ.

    Измененный размер кучи Java NameNode.

  5. Сохраните изменения, нажав зеленую кнопку "Сохранить " в верхней части экрана конфигурации.

Дальнейшие действия