Порты, используемые службами Apache Hadoop в HDInsight

Этот документ содержит список портов, используемых службами Apache Hadoop, работающими в кластерах HDInsight. Он также предоставляет сведения о портах, используемых для подключения к кластеру с помощью SSH.

Общедоступные порты и не открытые порты

Кластеры HDInsight под управлением Linux предоставляют только три порта в Интернете: 22, 23 и 443. Эти порты защищают доступ к кластеру с помощью SSH и служб, предоставляемых по защищенному протоколу HTTPS.

HDInsight реализуется несколькими виртуальными машинами Azure (узлами кластера), работающими в виртуальной сети Azure. Из виртуальной сети вы можете получить доступ к портам, не предоставляемым через Интернет. При подключении через SSH к головному узлу можно напрямую получить доступ к службам, работающим на узлах кластера.

Это важно

Если вы не указываете виртуальную сеть Azure в качестве параметра конфигурации для HDInsight, она создается автоматически. Однако вы не можете присоединить другие компьютеры (например, другие виртуальные машины Azure или компьютер разработки клиента) к этой виртуальной сети.

Чтобы присоединить дополнительные компьютеры к виртуальной сети, сначала необходимо создать виртуальную сеть, а затем указать ее при создании кластера HDInsight. Дополнительные сведения см. в разделе Планирование виртуальной сети для HDInsight.

Общедоступные порты

Все узлы в кластере HDInsight находятся в виртуальной сети Azure. Узлы не могут быть доступны напрямую из Интернета. Общедоступный шлюз предоставляет доступ к Интернету к следующим портам, которые являются общими для всех типов кластеров HDInsight.

Услуга	Порт	Протокол	Описание
sshd	22	SSH	Подключает клиентов к sshd на основном головном узле. Дополнительные сведения см. в статье Подключение к HDInsight (Hadoop) с помощью SSH.
sshd	22	SSH	Подключает клиенты к sshd на пограничном узле. Дополнительные сведения см. в статье Подключение к HDInsight (Hadoop) с помощью SSH.
sshd	двадцать три	SSH	Подключает клиенты к sshd на вторичном головном узле. Дополнительные сведения см. в статье Подключение к HDInsight (Hadoop) с помощью SSH.
Ambari	443	HTTPS	Веб-интерфейс Ambari. См.: , как управлять HDInsight с помощью веб-интерфейса Apache Ambari
Ambari	443	HTTPS	REST API Ambari. См. управление HDInsight с помощью REST API Apache Ambari
WebHCat	443	HTTPS	`HCatalog` REST API. См. Использование MapReduce с Curl
HiveServer2	443	ODBC (Интерфейс открытой базы данных)	Подключается к Hive с помощью ODBC. См. подключение Excel к HDInsight с помощьюдрайвера Microsoft ODBC.
HiveServer2	443	JDBC	Подключается к ApacheHive с помощью JDBC. См. Подключение к Apache Hive в HDInsight с помощью драйвера Hive JDBC

Ниже приведены определенные типы кластеров:

Услуга	Порт	Протокол	Тип кластера	Описание
`Stargate`	443	HTTPS	HBase	REST API HBase. См. Начните использовать Apache HBase
Livy	443	HTTPS	Спарк	REST API Spark. Смотрите удалённую отправку заданий Apache Spark с помощью Apache Livy
Thrift-сервер Spark	443	HTTPS	Спарк	Сервер Thrift Spark, используемый для отправки запросов Hive. См. Используйте Beeline с Apache Hive в HDInsight
Прокси-сервер REST для Kafka	443	HTTPS	Кафка	REST API Kafka. См. статью Взаимодействие с кластерами Apache Kafka в Azure HDInsight с помощью прокси-сервера REST

Аутентификация

Все службы, предоставляемые в Интернете, должны проходить проверку подлинности:

Порт	Подтверждение компетенции
22 или 23	Учетные данные пользователя SSH, указанные во время создания кластера
443	Имя входа (по умолчанию: администратор) и пароль, заданные во время создания кластера

Недоступные порты

Примечание.

Некоторые службы доступны только для определенных типов кластеров. Например, HBase доступен только в типах кластеров HBase.

Это важно

Некоторые службы работают только на одном головном узле в любой момент времени. Если вы пытаетесь подключиться к службе на основном головном узле и получите ошибку, повторите попытку с помощью дополнительного головного узла.

Ambari

Услуга	Узлы	Порт	URL-путь	Протокол
Веб-интерфейс Ambari	Головные узлы	8080	/	HTTP
Ambari REST API	Головные узлы	8080	/api/v1	HTTP

Примеры:

REST API Ambari: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

Порты HDFS

Услуга	Узлы	Порт	Протокол	Описание
Веб-интерфейс NameNode	Головные узлы	30070	HTTPS	Веб-интерфейс для просмотра состояния
Служба метаданных NameNode	головные узлы	8020	Международная патентная классификация	Метаданные файловой системы
DataNode	Все рабочие узлы	30075	HTTPS	Веб-интерфейс для просмотра состояния, журналов и т. д.
DataNode	Все рабочие узлы	30010		Передача данных
DataNode	Все рабочие узлы	30020	Международная патентная классификация	Операции с метаданными
Вторичный NameNode	Головные узлы	50090	HTTP	Контрольная точка для метаданных NameNode

Порты YARN

Услуга	Узлы	Порт	Протокол	Описание
Веб-интерфейс диспетчера ресурсов	Головные узлы	8088	HTTP	Веб-интерфейс для Resource Manager
Веб-интерфейс Менеджера ресурсов	Головные узлы	8090	HTTPS	Веб-интерфейс для Resource Manager
Интерфейс администрирования Resource Manager	головные узлы	8141	IPC	Для отправки приложений (Hive, сервер Hive, Pig и т. д.)
Планировщик менеджера ресурсов	головные узлы	8030	HTTP	Административный интерфейс
Интерфейс приложения Resource Manager	головные узлы	8050	HTTP	Адрес интерфейса диспетчера приложений
NodeManager	Все рабочие узлы	30050		Адрес диспетчера контейнеров
Веб-интерфейс NodeManager	Все рабочие узлы	30060	HTTP	Интерфейс диспетчера ресурсов
Положение на временной шкале	Головные узлы	10200	RPC	RPC-сервис временной шкалы.
Веб-интерфейс временной шкалы	Головные узлы	8188	HTTP	Веб-интерфейс службы временной шкалы

Порты Хайв

Услуга	Узлы	Порт	Протокол	Описание
HiveServer2	Головные узлы	10001	Бережливость	Служба подключения к Hive (Thrift/JDBC)
Хранилище метаданных Hive	Головные узлы	9083	Бережливость	Служба подключения к метаданным Hive (Thrift/JDBC)

Порты WebHCat

Услуга	Узлы	Порт	Протокол	Описание
Сервер WebHCat	Головные узлы	30111	HTTP	Веб-API на основе `HCatalog` и других служб Hadoop

Порты MapReduce

Услуга	Узлы	Порт	Протокол	Описание
История работы	Головные узлы	19888	HTTP	Веб-интерфейс MapReduce JobHistory
История работы	Головные узлы	10020		Сервер MapReduce JobHistory
ShuffleHandler		13562		Передача промежуточных данных Map запрашивающим редукторам

Oozie,

Услуга	Узлы	Порт	Протокол	Описание
Сервер Oozie	Головные узлы	11000	HTTP	URL-адрес службы Oozie
Сервер Oozie	Головные узлы	11001	HTTP	Порт для администратора Oozie

Метрики Ambari

Услуга	Узлы	Порт	Протокол	Описание
TimeLine (история приложений)	Головные узлы	6188	HTTP	Веб-интерфейс службы TimeLine
TimeLine (история приложений)	Головные узлы	30200	RPC	Веб-интерфейс службы TimeLine

Порты HBase

Услуга	Узлы	Порт	Протокол	Описание
HMaster	Головные узлы	16 000
Веб-интерфейс информации HMaster	Головные узлы	16010	HTTP	Порт для веб-интерфейса HBase Master
Сервер региона	Все рабочие узлы	16020
Веб-интерфейс сведений о сервере в регионе	Все рабочие узлы	16030	HTTP	Порт для веб-интерфейса сервера региона HBase
		2181		Порт, используемый клиентами для подключения к ZooKeeper

Порты Kafka

Услуга	Узлы	Порт	Протокол	Описание
Брокер	Рабочие узлы	9092	Протокол Kafka Wire	Используется для взаимодействия с клиентом
	Узлы Zookeeper	2181		Порт, используемый клиентами для подключения к Zookeeper
ПРОКСИ-сервер REST	Узлы управления Kafka	9400	HTTPS	спецификация REST Kafka

Порты Spark

Услуга	Узлы	Порт	Протокол	Описание
Серверы Thrift Spark	Головные узлы	10002	Бережливость	Служба для подключения к Spark SQL (Thrift/JDBC)
Сервер Livy	Головные узлы	8998	HTTP	Служба для выполнения инструкций, заданий и приложений
Портативный компьютер Jupyter	Головные узлы	8001	HTTP	Веб-сайт Jupyter Notebook