Управление кластерами HDInsight с помощью корпоративного пакета безопасности

Познакомьтесь с пользователями и ролями в корпоративном пакете безопасности (ESP) HDInsight, а также с тем, как управлять кластерами ESP.

Использование VS Code для связывания с присоединенным к домену кластером

Вы можете связать обычный кластер с помощью управляемого имени пользователя Apache Ambari, а кластер безопасности Apache Hadoop — с помощью имени пользователя домена (например [email protected]).

1. Откройте Visual Studio Code. Убедитесь в том, что установлено расширение Spark & Hive Tools.

2. Выполните действия из раздела Связывание кластера для Visual Studio Code.

Использование IntelliJ для подключения к кластеру, присоединенному к домену

Вы можете связать обычный кластер с помощью управляемого имени пользователя Ambari, а кластер безопасности — с помощью имени пользователя домена (например, [email protected]).

1. Откройте IntelliJ IDEA. Убедитесь, что выполнены все необходимые условия.

2. Выполните действия из раздела Связывание кластера для IntelliJ.

Используйте Eclipse для подключения к кластерам, присоединённым к домену

Вы можете связать обычный кластер с помощью управляемого имени пользователя Ambari, а кластер безопасности — с помощью имени пользователя домена (например, [email protected]).

1. Откройте Eclipse. Убедитесь, что выполнены все необходимые условия.

2. Выполните действия из раздела Связывание кластера для Eclipse.

Доступ к кластерам с помощью Корпоративного пакета безопасности

Пакет безопасности предприятия (прежнее название — HDInsight Premium) предоставляет многопользовательский доступ к кластеру, где аутентификация выполняется с помощью Active Directory, а авторизация осуществляется через Apache Ranger и списки контроля доступа хранилища (ADLS ACLs). Авторизация обеспечивает безопасное разделение пользователей, разрешая только привилегированным лицам доступ к данным на основе политик авторизации.

Обеспечение безопасности и изоляция пользователей важны для кластера HDInsight с пакетом безопасности предприятия. Чтобы удовлетворить эти требования, доступ по протоколу SSH к кластеру с помощью Корпоративного пакета безопасности поддерживается для локального пользователя, выбранного во время создания кластера, а также для пользователей, доступных в AAD-DS (т. е. Kerberos). В следующей таблице описаны способы доступа, рекомендуемые для каждого типа кластера:

Использование стандартных API помогает обеспечить безопасность. Вы также получаете следующие преимущества:

• Управление — вы можете управлять кодом и заданиями автоматизации с помощью стандартных API — Livy, HS2 и т. д.
• Аудит — используя SSH, вы не можете проверять, какие пользователи получили SSH-доступ к кластеру. Этого можно избежать, создавая задания через стандартные конечные точки, так как они будут выполняться в контексте пользователя.

Используйте Beeline

Установите Beeline на компьютер подключитесь через общедоступный сегмент Интернета, используя следующие параметры:

- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'

Если у вас локально установлен Beeline, и вы подключаетесь через виртуальную сеть Azure, используйте следующие параметры:

Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'

Чтобы найти полное доменное имя головного узла, используйте сведения в Управляемом HDInsight с помощью документа REST API Ambari.

Пользователи кластеров HDInsight с ESP

При создании кластера HDInsight без ESP в нем создаются две учетные записи пользователя:

• Администратор Ambari: эта учетная запись называется также Пользователь Hadoop или Пользователь HTTP. Эту учетную запись можно использовать для входа в Ambari по адресу https://CLUSTERNAME.azurehdinsight.net. Ее также можно использовать для выполнения запросов по представлениям Ambari, выполнения заданий с помощью внешних средств (PowerShell, Templeton, Visual Studio и т. п.) и для проверки подлинности с помощью драйвера Hive ODBC и средств бизнес-аналитики (Excel, PowerBI или Tableau).

В кластере HDInsight с корпоративным пакетом безопасности, в дополнение к администратору Ambari, присутствуют три новых пользователя.

• Администратор Ranger: это локальная учетная запись администратора Apache Ranger. Она не является пользователем домена Active Directory. Эту учетную запись можно использовать для настройки политик, создания других пользователей-администраторов или делегированных администраторов (чтобы они могли управлять политиками). По умолчанию используется имя пользователя admin и такой же пароль, как для администратора Ambari. Этот пароль можно изменить на странице настроек в Ranger.

• Пользователь домена и администратор кластера: это пользователь домена Active Directory, который является администратором кластера Hadoop, а также служб Ambari и Ranger. Учетные данные этого пользователя нужно предоставить во время создания кластера. Этот пользователь имеет следующие права.

  • Присоедините устройства к домену и разместите их в подразделении, которое вы указываете при создании кластера.
  • Создание субъектов-служб в определенном подразделении, которое указывается во время создания кластера.
  • Создайте обратные записи DNS.

  Обратите внимание, что эти права есть и у других пользователей AD.

  В кластере есть некоторые конечные точки (например, Templeton), которые не управляются Рейнджером и, следовательно, безопасны. Такие конечные точки закрываются для всех пользователей, за исключением пользователя домена и администратора кластера.

• Обычный: во время создания кластера можно указать несколько групп Active Directory. Пользователи в эти группах будут синхронизированы с Ranger и Ambari. Эти пользователи являются пользователями домена и имеют доступ только к управляемым Ranger конечным точкам (например, Hiveserver2). Для этих пользователей применяются все политики RBAC и правила аудита.

Роли кластеров HDInsight с корпоративным пакетом безопасности

Корпоративный пакет безопасности HDInsight предоставляет следующие роли:

• Администратор кластера
• оператор кластера;
• Администратор служб
• оператор службы;
• пользователь кластера.

Просмотр разрешений для этих ролей

1. Откройте пользовательский интерфейс управления Ambari. См. раздел Вход в пользовательский интерфейс управления Ambari.

2. В меню слева выберите Роли.

3. Щелкните синий вопросительный знак, чтобы просмотреть разрешения.

   

Вход в пользовательский интерфейс управления Ambari

1. Перейдите по адресу https://CLUSTERNAME.azurehdinsight.net/, где CLUSTERNAME — это имя вашего кластера.

2. Войдите в Ambari, используя имя пользователя и пароль пользователя домена и администратора кластера.

3. Щелкните раскрывающееся меню Администратор в правом верхнем углу, затем нажмите кнопку Управление Ambari.

   

   Пользовательский интерфейс выглядит примерно так:

   

Список пользователей домена, синхронизированных из Active Directory

1. Откройте пользовательский интерфейс управления Ambari. См. раздел Вход в пользовательский интерфейс управления Ambari.

2. В меню слева выберите Пользователи. Вы увидите всех пользователей, синхронизированных в кластер HDInsight из Active Directory.

   

Список групп домена, синхронизированных из Active Directory

1. Откройте пользовательский интерфейс управления Ambari. См. раздел Вход в пользовательский интерфейс управления Ambari.

2. В меню слева выберите Группы. Вы увидите все группы, синхронизированные в кластер HDInsight из Active Directory.

   

Настройка разрешений для представления Hive

1. Откройте пользовательский интерфейс управления Ambari. См. раздел Вход в пользовательский интерфейс управления Ambari.

2. В меню слева выберите Виды.

3. Щелкните HIVE, чтобы открыть подробную информацию.

   

4. Выберите ссылку Обзор Hive, чтобы настроить представления Hive.

5. Выполните прокрутку вниз до раздела Разрешения.

   

6. Щелкните Добавить пользователя или Добавить группу, а затем укажите пользователей или группы, которые могут использовать представления Hive.

Настройка ролей для пользователей

Чтобы увидеть список ролей и их разрешений, обратитесь к разделу "Роли кластеров HDInsight с ESP".

1. Откройте пользовательский интерфейс управления Ambari. См. раздел Вход в пользовательский интерфейс управления Ambari.
2. В меню слева выберите Роли.
3. Щелкните Добавить пользователя или Добавить группу, чтобы назначить роли для пользователей и групп.

Следующие шаги

• Описание настройки кластера HDInsight с Корпоративным пакетом безопасности см. в разделе Настройка кластеров HDInsight с ESP.
• Чтобы настроить политики Hive и выполнять запросы Hive, см. статью Настройка политик Apache Hive для кластеров HDInsight с Корпоративным пакетом безопасности.