Оптимизация кластеров с помощью Apache Ambari в Azure HDInsight
HDInsight предоставляет кластеры Apache Hadoop для приложений, предназначенных для обработки больших объемов данных. Администрирование, мониторинг и оптимизация этих кластеров со сложной структурой и множеством узлов может оказаться нелегкой задачей. Веб-интерфейс Apache Ambari специально разработан для управления кластерами HDInsight Linux и их мониторинга.
Основные сведения о пользовательском веб-интерфейсе Ambari см. в статье Управление кластерами HDInsight с помощью веб-интерфейса Ambari.
Войдите в Ambari по адресу https://CLUSTERNAME.azurehdidnsight.net с помощью учетных данных кластера. На начальном экране показана панель мониторинга с общими сведениями.
С помощью пользовательского веб-интерфейса Ambari можно управлять узлами, службами, оповещениями, конфигурациями и представлениями. Ambari нельзя использовать для создания кластера HDInsight или обновления служб. Также это средство не может управлять стеками, версиями, выводить узлы из эксплуатации и включать их обратно, а также добавлять службы в кластер.
Управление конфигурацией кластера
Параметры конфигурации помогают настроить определенную службу. Чтобы изменить параметры конфигурации службы, выберите нужную службу на боковой панели Services (Службы) слева. Теперь перейдите на вкладку Configs (Конфигурации) на странице сведений о службе.
Изменение размера кучи NameNode Java
Размер кучи Java NameNode зависит от многих разных факторов, в том числе от загрузки кластера. Также учитывается число файлов и блоков. По умолчанию ее размер составляет 1 ГБ, что подходит для большинства кластеров, хотя для некоторых рабочих нагрузок может потребоваться больше или меньше памяти.
Вот как можно изменить размер кучи NameNode Java.
Выберите HDFS на боковой панели "Services" (Службы) и перейдите на вкладку Configs (Конфигурации).
Найдите параметр NameNode Java heap size (Размер кучи NameNode Java). Можно также использовать текстовое поле фильтра, чтобы ввести и найти конкретное значение. Щелкните значок пера рядом с именем параметра.
Введите новое значение в текстовом поле и нажмите клавишу ВВОД, чтобы сохранить изменения.
Размер кучи Java NameNode изменяется на 1 ГБ с 2 ГБ.
Сохраните изменения, нажав зеленую кнопку Save (Сохранить) в верхней части экрана конфигурации.
