Поделиться через

Что такое интерфейс командной строки Databricks?

Примечание.

Эта информация относится к Интерфейсу командной строки Databricks версии 0.205 и выше. Интерфейс командной строки Databricks находится в общедоступной предварительной версии.

Использование интерфейса командной строки Databricks распространяется на лицензию Databricks и уведомление о конфиденциальности Databricks, включая все положения об использовании.

Интерфейс командной строки Databricks позволяет взаимодействовать с платформой Azure Databricks через ваш локальный терминал или с помощью сценариев автоматизации. Вы также можете запускать команды CLI Databricks из рабочей области Databricks с помощью веб-терминала. См. статью «Запуск команд оболочки в веб-терминале Azure Databricks».

Сведения об установке и настройке проверки подлинности для интерфейса командной строки Databricks см. в разделах Установка или обновление интерфейса командной строки Databricks и Проверка подлинности для интерфейса командной строки Databricks.

Совет

Источник командной строки Databricks публично доступен в репозитории databricks/cli на GitHub.

Сведения о устаревших пользователях Интерфейса командной строки Databricks

  • Databricks не планирует поддержку и работу над новыми функциями для устаревшего интерфейса командной строки Databricks.
  • Для получения дополнительной информации об устаревшем интерфейсе командной строки Databricks см. Устаревший интерфейс командной строки Databricks.
  • Для миграции с Databricks CLI версии 0.18 или ниже на Databricks CLI версии 0.205 или выше смотрите миграцию Databricks CLI.

Как работает интерфейс командной строки Databricks?

Интерфейс командной строки упаковывает REST API Databricks, который предоставляет конечные точки для изменения или запроса сведений об учетных записях Azure Databricks и объектах рабочей области. Посмотрите справочник по REST API Azure Databricks.

Например, чтобы распечатать сведения о отдельном кластере в рабочей области, выполните интерфейс командной строки следующим образом:

databricks clusters get 1234-567890-a12bcde3

Используя curl, эквивалентная операция выглядит следующим образом:

curl --request GET "https://${DATABRICKS_HOST}/api/2.0/clusters/get" \
     --header "Authorization: Bearer ${DATABRICKS_TOKEN}" \
     --data '{ "cluster_id": "1234-567890-a12bcde3" }'

Пример: создание задания Azure Databricks

В следующем примере интерфейс командной строки используется для создания задания Azure Databricks. Это задание содержит одну задачу. Эта задача выполняет указанную записную книжку Azure Databricks. Эта записная книжка зависит от определенной версии пакета PyPI с именем wheel. Для выполнения этой задачи задание временно создает кластер заданий, который экспортирует переменную среды с именем PYSPARK_PYTHON. После выполнения задания кластер завершается.

databricks jobs create --json '{
  "name": "My hello notebook job",
  "tasks": [
    {
      "task_key": "my_hello_notebook_task",
      "notebook_task": {
        "notebook_path": "/Workspace/Users/[email protected]/hello",
        "source": "WORKSPACE"
      },
      "libraries": [
        {
          "pypi": {
            "package": "wheel==0.41.2"
          }
        }
      ],
      "new_cluster": {
        "spark_version": "13.3.x-scala2.12",
        "node_type_id": "Standard_DS3_v2",
        "num_workers": 1,
        "spark_env_vars": {
          "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
        }
      }
    }
  ]
}'

Следующие шаги