Поделиться через

Порты, используемые службами Apache Hadoop в HDInsight

  • Статья

Этот документ содержит список портов, используемых службами Apache Hadoop, работающими в кластерах HDInsight. Он также предоставляет сведения о портах, используемых для подключения к кластеру с помощью SSH.

Общедоступные порты и не открытые порты

Кластеры HDInsight под управлением Linux предоставляют только три порта в Интернете: 22, 23 и 443. Эти порты защищают доступ к кластеру с помощью SSH и служб, предоставляемых по защищенному протоколу HTTPS.

HDInsight реализуется несколькими виртуальными машинами Azure (узлами кластера), работающими в виртуальной сети Azure. Из виртуальной сети вы можете получить доступ к портам, не предоставляемым через Интернет. При подключении через SSH к головному узлу можно напрямую получить доступ к службам, работающим на узлах кластера.

Это важно

Если вы не указываете виртуальную сеть Azure в качестве параметра конфигурации для HDInsight, она создается автоматически. Однако вы не можете присоединить другие компьютеры (например, другие виртуальные машины Azure или компьютер разработки клиента) к этой виртуальной сети.

Чтобы присоединить дополнительные компьютеры к виртуальной сети, сначала необходимо создать виртуальную сеть, а затем указать ее при создании кластера HDInsight. Дополнительные сведения см. в разделе Планирование виртуальной сети для HDInsight.

Общедоступные порты

Все узлы в кластере HDInsight находятся в виртуальной сети Azure. Узлы не могут быть доступны напрямую из Интернета. Общедоступный шлюз предоставляет доступ к Интернету к следующим портам, которые являются общими для всех типов кластеров HDInsight.

Услуга Порт Протокол Описание
sshd 22 SSH Подключает клиентов к sshd на основном головном узле. Дополнительные сведения см. в статье Подключение к HDInsight (Hadoop) с помощью SSH.
sshd 22 SSH Подключает клиенты к sshd на пограничном узле. Дополнительные сведения см. в статье Подключение к HDInsight (Hadoop) с помощью SSH.
sshd двадцать три SSH Подключает клиенты к sshd на вторичном головном узле. Дополнительные сведения см. в статье Подключение к HDInsight (Hadoop) с помощью SSH.
Ambari 443 HTTPS Веб-интерфейс Ambari. См.: , как управлять HDInsight с помощью веб-интерфейса Apache Ambari
Ambari 443 HTTPS REST API Ambari. См. управление HDInsight с помощью REST API Apache Ambari
WebHCat 443 HTTPS HCatalog REST API. См. Использование MapReduce с Curl
HiveServer2 443 ODBC (Интерфейс открытой базы данных) Подключается к Hive с помощью ODBC. См. подключение Excel к HDInsight с помощьюдрайвера Microsoft ODBC.
HiveServer2 443 JDBC Подключается к ApacheHive с помощью JDBC. См. Подключение к Apache Hive в HDInsight с помощью драйвера Hive JDBC

Ниже приведены определенные типы кластеров:

Услуга Порт Протокол Тип кластера Описание
Stargate 443 HTTPS HBase REST API HBase. См. Начните использовать Apache HBase
Livy 443 HTTPS Спарк REST API Spark. Смотрите удалённую отправку заданий Apache Spark с помощью Apache Livy
Thrift-сервер Spark 443 HTTPS Спарк Сервер Thrift Spark, используемый для отправки запросов Hive. См. Используйте Beeline с Apache Hive в HDInsight
Прокси-сервер REST для Kafka 443 HTTPS Кафка REST API Kafka. См. статью Взаимодействие с кластерами Apache Kafka в Azure HDInsight с помощью прокси-сервера REST

Аутентификация

Все службы, предоставляемые в Интернете, должны проходить проверку подлинности:

Порт Подтверждение компетенции
22 или 23 Учетные данные пользователя SSH, указанные во время создания кластера
443 Имя входа (по умолчанию: администратор) и пароль, заданные во время создания кластера

Недоступные порты

Примечание.

Некоторые службы доступны только для определенных типов кластеров. Например, HBase доступен только в типах кластеров HBase.

Это важно

Некоторые службы работают только на одном головном узле в любой момент времени. Если вы пытаетесь подключиться к службе на основном головном узле и получите ошибку, повторите попытку с помощью дополнительного головного узла.

Ambari

Услуга Узлы Порт URL-путь Протокол
Веб-интерфейс Ambari Головные узлы 8080 / HTTP
Ambari REST API Головные узлы 8080 /api/v1 HTTP

Примеры:

  • REST API Ambari: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

Порты HDFS

Услуга Узлы Порт Протокол Описание
Веб-интерфейс NameNode Головные узлы 30070 HTTPS Веб-интерфейс для просмотра состояния
Служба метаданных NameNode головные узлы 8020 Международная патентная классификация Метаданные файловой системы
DataNode Все рабочие узлы 30075 HTTPS Веб-интерфейс для просмотра состояния, журналов и т. д.
DataNode Все рабочие узлы 30010   Передача данных
DataNode Все рабочие узлы 30020 Международная патентная классификация Операции с метаданными
Вторичный NameNode Головные узлы 50090 HTTP Контрольная точка для метаданных NameNode

Порты YARN

Услуга Узлы Порт Протокол Описание
Веб-интерфейс диспетчера ресурсов Головные узлы 8088 HTTP Веб-интерфейс для Resource Manager
Веб-интерфейс Менеджера ресурсов Головные узлы 8090 HTTPS Веб-интерфейс для Resource Manager
Интерфейс администрирования Resource Manager головные узлы 8141 IPC Для отправки приложений (Hive, сервер Hive, Pig и т. д.)
Планировщик менеджера ресурсов головные узлы 8030 HTTP Административный интерфейс
Интерфейс приложения Resource Manager головные узлы 8050 HTTP Адрес интерфейса диспетчера приложений
NodeManager Все рабочие узлы 30050   Адрес диспетчера контейнеров
Веб-интерфейс NodeManager Все рабочие узлы 30060 HTTP Интерфейс диспетчера ресурсов
Положение на временной шкале Головные узлы 10200 RPC RPC-сервис временной шкалы.
Веб-интерфейс временной шкалы Головные узлы 8188 HTTP Веб-интерфейс службы временной шкалы

Порты Хайв

Услуга Узлы Порт Протокол Описание
HiveServer2 Головные узлы 10001 Бережливость Служба подключения к Hive (Thrift/JDBC)
Хранилище метаданных Hive Головные узлы 9083 Бережливость Служба подключения к метаданным Hive (Thrift/JDBC)

Порты WebHCat

Услуга Узлы Порт Протокол Описание
Сервер WebHCat Головные узлы 30111 HTTP Веб-API на основе HCatalog и других служб Hadoop

Порты MapReduce

Услуга Узлы Порт Протокол Описание
История работы Головные узлы 19888 HTTP Веб-интерфейс MapReduce JobHistory
История работы Головные узлы 10020   Сервер MapReduce JobHistory
ShuffleHandler   13562   Передача промежуточных данных Map запрашивающим редукторам

Oozie,

Услуга Узлы Порт Протокол Описание
Сервер Oozie Головные узлы 11000 HTTP URL-адрес службы Oozie
Сервер Oozie Головные узлы 11001 HTTP Порт для администратора Oozie

Метрики Ambari

Услуга Узлы Порт Протокол Описание
TimeLine (история приложений) Головные узлы 6188 HTTP Веб-интерфейс службы TimeLine
TimeLine (история приложений) Головные узлы 30200 RPC Веб-интерфейс службы TimeLine

Порты HBase

Услуга Узлы Порт Протокол Описание
HMaster Головные узлы 16 000    
Веб-интерфейс информации HMaster Головные узлы 16010 HTTP Порт для веб-интерфейса HBase Master
Сервер региона Все рабочие узлы 16020  
Веб-интерфейс сведений о сервере в регионе  Все рабочие узлы 16030 HTTP Порт для веб-интерфейса сервера региона HBase
2181 Порт, используемый клиентами для подключения к ZooKeeper

Порты Kafka

Услуга Узлы Порт Протокол Описание
Брокер Рабочие узлы 9092 Протокол Kafka Wire Используется для взаимодействия с клиентом
  Узлы Zookeeper 2181   Порт, используемый клиентами для подключения к Zookeeper
ПРОКСИ-сервер REST Узлы управления Kafka 9400 HTTPS спецификация REST Kafka

Порты Spark

Услуга Узлы Порт Протокол URL-путь Описание
Серверы Thrift Spark Головные узлы 10002 Бережливость   Служба для подключения к Spark SQL (Thrift/JDBC)
Сервер Livy Головные узлы 8998 HTTP   Служба для выполнения инструкций, заданий и приложений
Портативный компьютер Jupyter Головные узлы 8001 HTTP   Веб-сайт Jupyter Notebook

Примеры:

  • Livy: curl -u admin -G "http://10.0.0.11:8998/". В этом примере 10.0.0.11 — ЭТО IP-адрес головного узла, на котором размещена служба Livy.