Работа в экосистеме Apache Hadoop в HDInsight на компьютере с Windows

Узнайте о вариантах разработки и управления на компьютере с Windows для работы в экосистеме Apache Hadoop в HDInsight.

HDInsight основан на компонентах Apache Hadoop и Hadoop, технологиях с открытым исходным кодом, разработанных в Linux. HDInsight версии 3.4 и более поздних версий использует дистрибутив Ubuntu Linux в качестве базовой ОС для кластера. Однако вы можете работать с HDInsight из клиента Windows или среды разработки Windows.

Использование PowerShell для задач развертывания и управления

Azure PowerShell — это среда сценариев, которую можно использовать для управления и автоматизации задач развертывания и управления в HDInsight из Windows.

Примеры задач, которые можно выполнить с помощью PowerShell:

Выполните действия, чтобы установить и настроить Azure PowerShell , чтобы получить последнюю версию.

Служебные программы, которые можно запускать в браузере

Следующие служебные программы содержат веб-интерфейс, который выполняется в браузере:

Прежде чем перейти к следующим примерам, установите и попробуйте использовать средства Data Lake для Visual Studio.

Visual Studio и пакет SDK для .NET

Visual Studio можно использовать с пакетом SDK для .NET для управления кластерами и разработки приложений больших данных. Для следующих задач можно использовать другие IDE, но примеры показаны в Visual Studio.

Примеры задач, которые можно выполнить с помощью пакета SDK для .NET в Visual Studio:

IntelliJ IDEA и Eclipse IDE для кластеров Spark

IntelliJ IDEA и Eclipse IDE можно использовать для:

  • Разработка и отправка приложения Scala Spark в кластере HDInsight Spark.
  • Доступ к ресурсам кластера Spark.
  • Разработка и запуск приложения Scala Spark локально.

В следующих статьях показано, как:

Записные книжки в Spark для специалистов по обработке и анализу данных

Кластеры Apache Spark в HDInsight включают ноутбуки Apache Zeppelin и ядра, которые можно использовать с Jupyter Notebook-ами.

Запуск средств и технологий на основе Linux в Windows

Если вы столкнулись с ситуацией, когда необходимо использовать средство или технологию, доступную только в Linux, рассмотрите следующие варианты:

  • Bash в Ubuntu в Windows 10 предоставляет подсистему Linux в Windows. Bash позволяет напрямую запускать служебные программы Linux без необходимости поддерживать выделенную установку Linux. Шаги установки см. в статье Windows Subsystem for Linux Installation Guide for Windows 10 (Подсистема Windows для Linux в Windows 10). Другие оболочки Unix также работают.
  • Docker для Windows предоставляет доступ ко многим средствам на основе Linux и может выполняться непосредственно из Windows. Например, можно использовать Docker для запуска клиента Beeline для Hive непосредственно из Windows. Вы также можете использовать Docker для запуска локальной записной книжки Jupyter и удаленного подключения к Spark в HDInsight. Начало работы с Docker для Windows
  • MobaXTerm позволяет графически просматривать файловую систему кластера через подключение SSH.

Кроссплатформенные инструменты

Azure CLI — это кроссплатформенный интерфейс командной строки от Майкрософт для управления ресурсами Azure. Дополнительные сведения см. в статье azure Command-Line Interface (CLI).</a0>

Дальнейшие шаги

Если вы не знакомы с кластерами под управлением Linux, ознакомьтесь со следующими статьями:

  • Last updated on