Выполнение команд оболочки в веб-терминале Azure Databricks

Веб-терминал Azure Databricks предоставляет удобный и высоко интерактивный способ выполнения команд оболочки в интерфейсе командной строки (CLI), включая команды CLI Databricks, для выполнения действий над объектами Databricks программным способом. Это особенно полезно для расширенных вариантов использования, таких как пакетные операции с несколькими файлами, которые существующие пользовательские интерфейсы могут не полностью поддерживать.

Несколько пользователей могут использовать веб-терминал на одном сервере.

Для выполнения следующих действий можно использовать веб-терминал:

• Внесите быстрые изменения в файл с помощью Vim или Emacs.
• Мониторинг использования ресурсов с помощью таких команд, как htop (использование кластера) или nvidia-smi (использование GPU).
• Запустите скрипты Python, отличные от Spark.
• Выполнение операций с файлами с помощью команд оболочки, таких как mv и mkdir.
• Установка библиотек и управление ими на вычислительных ресурсах.
• Используйте интерфейс командной строки Databricks для автоматизации различных аспектов Azure Databricks.

Требования

• Веб-терминал по умолчанию отключен для всех пользователей рабочей области. Чтобы включить его, см. статью "Включить веб-терминал".
• РАЗРЕШЕНИЕ CAN ATTACH TO для вычислительных ресурсов.
• Веб-терминал поддерживается только в стандартном режиме доступа (ранее режим общего доступа) в Databricks Runtime 15.1 и более поздних версиях.

Запуск веб-терминала

Вы можете запустить веб-терминал на странице сведений о вычислениях или из записной книжки.

Из записной книжки

Чтобы запустить веб-терминал из записной книжки, выполните следующие действия.

1. Подключите ноутбук к компьютеру.
2. В нижней части правой боковой панели записной книжки щелкните значок Open bottom panel.
3. В качестве альтернативы щелкните по раскрывающемуся списку прикрепленных вычислительных ресурсов, наведите указатель мыши на них, а затем выберите Web Terminal.

Веб-терминал откроется на панели в нижней части экрана. Кнопки в правом верхнем углу панели позволяют:

• Откройте новый сеанс терминала на новой вкладке .
• Перезагрузите сеанс терминала .
• Закройте нижнюю панель . Чтобы открыть панель, щелкните внизу правой боковой панели.

На странице сведений о вычислениях

Чтобы запустить веб-терминал на странице сведений о вычислениях, выполните следующие действия.

1. На боковой панели рабочей области щелкните " Вычисления".
2. На вкладке "Все назначения вычислений " щелкните имя вычисления.
3. Нажмите кнопку " Пуск" , чтобы запустить вычисление.
4. На вкладке "Приложения" щелкните веб-терминал.

Откроется новая вкладка с пользовательским интерфейсом веб-терминала и запросом Bash.

Использование веб-терминала

В веб-терминале можно выполнять команды от имени root внутри контейнера узла вычислительного драйвера.

У каждого пользователя может быть открыто до 100 активных сеансов веб-терминала (вкладок). При простое сеансов веб-терминала они могут завершаться из-за превышения времени ожидания, и веб-приложение веб-терминала будет переподключаться, что приведет к созданию нового процесса оболочки. Databricks рекомендует использовать tmux для сохранения сеанса Bash.

Запустите команды CLI Databricks

Вы также можете использовать веб-терминал для выполнения команд Databricks CLI. Доступный интерфейс командной строки всегда является последней версией, а проверка подлинности основана на текущем пользователе.

Вычислительные ресурсы должны соответствовать следующим требованиям:

• Кластер должен установить Databricks Runtime 15.0 или более поздней версии.
• Рабочая область не должна быть активирована для использования Private Link.

Запустите веб-терминал и выполните следующую команду, чтобы вывести сведения о текущем пользователе:

   databricks current-user me

Кроме того, доступны команды пакета, которые позволяют создавать пакеты ресурсов Databricks и управлять ими непосредственно из веб-терминала в рабочей области Databricks. Например, чтобы создать, развернуть и запустить простой пакет с помощью шаблона по умолчанию:

1. В корневом каталоге веб-терминала перейдите в домашнюю папку рабочей области и выполните команду bundle init.

   cd /Workspace/Users/[email protected]
   databricks bundle init
   

2. Примите шаблоны по умолчанию, затем перейдите в директорию пакета и разверните его.

   cd my_project
   databricks bundle deploy
   

   Развернутый my_project пакет можно просмотреть в пользовательском интерфейсе рабочей области Databricks.

3. Наконец, запустите задание по умолчанию в пакете:

   databricks bundle run my_project_job
   

   Перейдите к запускам заданий, чтобы просмотреть выполняющееся задание.

Настройка веб-терминала

Вы можете задать постоянные конфигурации для веб-терминала с помощью файлов конфигурации .bashrc.

Databricks автоматически считывает файлы с именем .bashrc из домашней папки файловой системы рабочей области. Параметры из этих файлов автоматически активируются при каждом запуске нового сеанса терминала.

Если вы хотите создать другие файлы (например, Zshrc) для веб-терминала, создайте их из файла bashrc, чтобы сохранить конфигурацию.

Сохраните все файлы конфигурации в папке рабочей области, где их можно настроить с помощью текстового редактора.

Ограничения

• Azure Databricks не поддерживает выполнение заданий Spark из веб-терминала.

• Веб-терминал Azure Databricks недоступен в следующих типах вычислений:

  • Вычисление задания
  • Вычисления начаты с установленной переменной среды DISABLE_WEB_TERMINAL=true.
  • Вычисления запускаются с режимом доступаСтандартный в Databricks Runtime в версиях ниже 15.1. Веб-терминал доступен для вычислений с стандартным режимом доступа (ранее режимом общего доступа) для Databricks Runtime 15.1 и более поздних версий.
  • Запуск вычислений был выполнен с режимом доступа, установленным на Стандартный, с использованием вычислительных ресурсов ARM.
  • Бессерверная среда вычислений версии 1.
  • Вычисления запущены с конфигурацией Spark, установленной на spark.databricks.pyspark.enableProcessIsolation.

• С момента начальной загрузки страницы существует жесткое ограничение в 12 часов, после чего любое подключение, даже если активно, будет прекращено. Вы можете обновить веб-терминал для повторного подключения. Databricks рекомендует использовать tmux для сохранения сеанса оболочки.

• Вычислительные ресурсы ARM не могут использовать веб-терминалы для доступа к файлам рабочей области, включая файлы в папках Git.

• При включении служб контейнеров Docker веб-терминал отключается.