Проверка подлинности для интерфейса командной строки Databricks

В этой статье описаны доступные варианты настройки проверки подлинности между интерфейсом командной строки Databricks и учетными записями Azure Databricks и рабочими областями. Предполагается, что вы уже установили интерфейс командной строки Databricks. См. статью "Установка или обновление интерфейса командной строки Databricks".

Перед выполнением команд CLI Databricks необходимо настроить проверку подлинности между интерфейсом командной строки Databricks и учетными записями Azure Databricks, рабочими областями или сочетанием этих команд в зависимости от типов команд CLI, которые требуется выполнить.

Для выполнения команд автоматизации Azure Databricks в учетной записи или в рабочей области Azure Databricks необходимо аутентифицировать Databricks CLI в соответствующих ресурсах во время выполнения. В зависимости от того, хотите ли вы вызывать команды уровня рабочей области Azure Databricks, команды уровня учетной записи Azure Databricks, или того и другого, необходимо пройти аутентификацию в рабочей области Azure Databricks, учетной записи, или и в том, и в другом. Чтобы получить список команд командной строки на уровне рабочей области Azure Databricks и групп командной строки на уровне учетной записи, выполните команду databricks -h. Для получения списка операций REST API на уровне рабочей области и уровне учетной записи Azure Databricks, которые охватываются командами Databricks CLI, см. в разделе Databricks REST API.

Сведения о проверке подлинности Microsoft Entra в Databricks с помощью Azure DevOps см. в разделе Аутентификация с Azure DevOps на Azure Databricks.

В следующих разделах содержатся сведения о настройке проверки подлинности между интерфейсом командной строки Databricks и Azure Databricks:

• Аутентификация с помощью токена личного доступа Azure Databricks
• Проверка подлинности на компьютере (M2M) OAuth
• Аутентификация OAuth от пользователя к машине (U2M)
• Проверка подлинности управляемых удостоверений Azure
• Аутентификация учетной записи службы Microsoft Entra ID
• Проверка подлинности Azure CLI
• Порядок проверки подлинности

Проверка подлинности токена личного доступа Azure Databricks

Проверка подлинности маркера личного доступа Azure Databricks использует личный маркер доступа Azure Databricks для проверки подлинности целевой сущности Azure Databricks, например учетной записи пользователя Azure Databricks. См. аутентификацию с помощью личного токена доступа Azure Databricks.

Чтобы создать личный маркер доступа, выполните действия, описанные в разделе "Личные маркеры доступа Azure Databricks" для пользователей рабочей области.

Чтобы настроить и использовать аутентификацию с использованием маркера личного доступа Azure Databricks, выполните следующие действия:

1. Используйте интерфейс командной строки Databricks, чтобы выполнить следующую команду:

   databricks configure
   

2. В поле запроса Databricks Host введите URL-адрес Azure Databricks для каждой рабочей области, например https://adb-1234567890123456.7.azuredatabricks.net.

3. Для запроса личного токена доступа введите токен доступа Azure Databricks для вашей рабочей области.

   После того как вы введете ваш персональный токен доступа Azure Databricks, в ваш файл .databrickscfg добавляется соответствующий профиль конфигурации. Если интерфейс командной строки Databricks не может найти этот файл в своем расположении по умолчанию, он сначала создает этот файл, а затем добавляет этот профиль конфигурации в новый файл. Расположение по умолчанию для этого файла находится в папке (дома пользователя) в ~ Unix, Linux или macOS или %USERPROFILE% вашей (домашней) папке в Windows.

4. Теперь вы можете использовать CLI Databricks с опцией --profile или -p, указав имя вашего профиля конфигурации в команде CLI Databricks, например databricks clusters list -p <configuration-profile-name>.

OAuth аутентификация "машина-машина" (M2M)

Вместо аутентификации с использованием личного токена доступа Azure Databricks, вы можете использовать аутентификацию OAuth. OAuth предоставляет токены с более быстрым временем истечения срока действия, чем личные токены доступа Azure Databricks, и предлагает более эффективную недействительность сеанса и область действия на стороне сервера. Поскольку срок действия токенов доступа OAuth истекает менее чем за час, это снижает риск, связанный со случайной передачей токенов в систему контроля версий. См. также авторизацию неавторизованного доступа к ресурсам Azure Databricks с помощью учетной записи службы с использованием OAuth.

Чтобы настроить и использовать проверку подлинности OAuth M2M, сделайте следующее:

1. Выполните инструкции по настройке проверки подлинности OAuth M2M. См. статью "Авторизация автоматического доступа к ресурсам Azure Databricks с помощью субъекта-службы с помощью OAuth"

2. Создайте или укажите профиль конфигурации Azure Databricks с приведёнными ниже полями, которые будут в вашем .databrickscfg файле. Если вы создаёте профиль, замените заполнители на соответствующие значения.

   Для команд уровня учетной записи задайте следующие значения в .databrickscfg файле:

   [<some-unique-configuration-profile-name>]
   host          = <account-console-url>
   account_id    = <account-id>
   client_id     = <service-principal-client-id>
   client_secret = <service-principal-oauth-secret>
   

   Для команд уровня рабочей области задайте следующие значения в .databrickscfg файле:

   [<some-unique-configuration-profile-name>]
   host          = <workspace-url>
   client_id     = <service-principal-client-id>
   client_secret = <service-principal-oauth-secret>
   

   Примечание.

   Расположение по умолчанию для файла .databrickscfg находится в домашнем каталоге пользователя. Это ~ для Linux и macOS, и %USERPROFILE% для Windows.

3. Используйте интерфейс командной строки Databricks с параметром --profile или -p, за которым следует имя профиля конфигурации, в команде CLI Databricks, например, databricks account groups list -p <configuration-profile-name> или databricks clusters list -p <configuration-profile-name>.

   Подсказка

   Нажмите Tab, после --profile или -p, чтобы отобразить список существующих доступных профилей конфигурации для выбора, вместо ввода имени профиля конфигурации вручную.

Аутентификация OAuth по схеме пользователь - машина (U2M)

Вместо того чтобы использовать проверку подлинности с помощью токенов в Azure Databricks, можно использовать проверку подлинности OAuth. OAuth предоставляет токены с более быстрым временем истечения срока действия, чем личные токены доступа Azure Databricks, и предлагает более эффективную недействительность сеанса и область действия на стороне сервера. Поскольку срок действия токенов доступа OAuth истекает менее чем за час, это снижает риск, связанный со случайной передачей токенов в систему контроля версий. Дополнительные сведения см. в статье "Авторизация интерактивного доступа к ресурсам Azure Databricks с помощью учетной записи пользователя с помощью OAuth".

Чтобы настроить и использовать проверку подлинности OAuth U2M, сделайте следующее:

1. Перед вызовом команд уровня учетной записи Azure Databricks необходимо локально инициировать управление маркерами OAuth, выполнив следующую команду. Эта команда должна выполняться отдельно для каждой учетной записи, для которой требуется выполнить команды. Если вы не хотите вызывать операции на уровне учетной записи, перейдите к шагу 5.

   В следующей команде замените следующие заполнители:

   • Замените <account-console-url> на ваш Azure Databricks https://accounts.azuredatabricks.net.
   • Замените идентификатор <account-id> на ID вашей учетной записи Azure Databricks. См. раздел "Поиск идентификатора учетной записи".

   databricks auth login --host <account-console-url> --account-id <account-id>
   

2. Интерфейс командной строки Databricks предлагает сохранить URL-адрес консоли учетной записи и идентификатор учетной записи локально в качестве профиля конфигурации Azure Databricks. Нажмите, Enter чтобы принять предлагаемое имя профиля, или введите имя нового или существующего профиля. Любой существующий профиль с тем же именем перезаписан с помощью этого URL-адреса консоли учетной записи и идентификатора учетной записи.

   Чтобы получить список существующих профилей, в отдельном терминале или командной строке выполните команду databricks auth profiles. Чтобы просмотреть существующие параметры конкретного профиля, выполните команду databricks auth env --profile <profile-name>.

3. В веб-браузере выполните инструкции на экране, чтобы войти в учетную запись Azure Databricks.

4. Чтобы просмотреть текущее значение маркера OAuth и следующую метку времени окончания срока действия, выполните команду databricks auth token --host <account-console-url> --account-id <account-id>.

5. Перед вызовом команд уровня рабочей области Azure Databricks необходимо локально инициировать управление маркерами OAuth, выполнив следующую команду. Эта команда должна выполняться отдельно для каждой рабочей области, для которой требуется выполнить команды.

   В следующей команде замените на URL-адрес рабочей области Azure Databricks , например .

   databricks auth login --host <workspace-url>
   

6. Интерфейс командной строки Databricks предлагает сохранить URL-адрес рабочей области локально в качестве профиля конфигурации Azure Databricks. Нажмите, Enter чтобы принять предлагаемое имя профиля, или введите имя нового или существующего профиля. Любой существующий профиль с тем же именем будет перезаписан при использовании этого URL-адреса рабочей области.

   Чтобы получить список существующих профилей, в отдельном терминале или командной строке выполните команду databricks auth profiles. Чтобы просмотреть существующие параметры конкретного профиля, выполните команду databricks auth env --profile <profile-name>.

7. В веб-браузере выполните инструкции на экране, чтобы войти в рабочую область Azure Databricks.

8. Чтобы просмотреть текущее значение маркера OAuth и следующую метку времени окончания срока действия, выполните команду databricks auth token --host <workspace-url>.

9. Используйте Databricks CLI с опцией --profile или -p, после которых укажите имя вашего конфигурационного профиля, в составе команды Databricks CLI, например databricks account groups list -p <configuration-profile-name> или databricks clusters list -p <configuration-profile-name>.

   Подсказка

   Вы можете нажать Tab, после --profile или -p, чтобы отобразить список существующих доступных профилей конфигурации и выбрать один из них, вместо того чтобы вводить имя профиля конфигурации вручную.

Аутентификация управляемых идентификаций Azure

Аутентификация с использованием управляемых удостоверений Azure осуществляется с помощью управляемых удостоверений для ресурсов Azure (ранее управляемые удостоверения служб (MSI)). См. раздел "Что такое управляемые удостоверения для ресурсов Azure?". См. также проверку подлинности управляемых удостоверений Azure.

Чтобы создать доверенную идентичность с назначением пользователя в Azure, выполните следующие действия.

1. Создайте или определите виртуальную машину Azure и установите в ней интерфейс командной строки Databricks, а затем назначьте управляемое удостоверение виртуальной машине Azure и целевым учетным записям Azure Databricks, рабочим областям или обоим. См. Настройка и использование проверки подлинности управляемых удостоверений Azure для автоматизации Azure Databricks.

2. На виртуальной машине Azure создайте или определите профиль конфигурации Azure Databricks со следующими полями в .databrickscfg файле. Если вы создаёте профиль, замените заполнители на соответствующие значения.

   Для команд уровня учетной записи задайте следующие значения в .databrickscfg файле:

   [<some-unique-configuration-profile-name>]
   host            = <account-console-url>
   account_id      = <account-id>
   azure_client_id = <azure-managed-identity-application-id>
   azure_use_msi   = true
   

   Для команд уровня рабочей области задайте следующие значения в .databrickscfg файле:

   [<some-unique-configuration-profile-name>]
   host            = <workspace-url>
   azure_client_id = <azure-managed-identity-application-id>
   azure_use_msi   = true
   

   Для команд на уровне рабочей области, если целевое удостоверение еще не добавлено в рабочую область, укажите azure_workspace_resource_id вместе с идентификатором ресурса Azure вместо host вместе с URL-адресом рабочей области. В этом случае целевой идентификатор должен иметь не менее чем разрешения участника или владельца на ресурс Azure.

   Примечание.

   Расположение по умолчанию для файла .databrickscfg находится в домашнем каталоге пользователя. Это ~ для Linux и macOS, и %USERPROFILE% для Windows.

3. На виртуальной машине Azure используйте CLI Databricks для указания профиля конфигурации, используя параметр --profile или -p и следуя за именем вашего профиля. Например, вы можете использовать databricks account groups list -p <configuration-profile-name> или databricks clusters list -p <configuration-profile-name>.

   Подсказка

   Вы можете нажать Tab, после --profile или -p, чтобы отобразить список существующих доступных профилей конфигурации и выбрать один из них, вместо того чтобы вводить имя профиля конфигурации вручную.

Аутентификация принципала службы Microsoft Entra ID

Для проверки подлинности идентификатора субъекта службы Microsoft Entra ID используются учетные данные идентификатора субъекта службы Microsoft Entra ID. Сведения о создании субъектов-служб и управлении ими для Azure Databricks см. в разделе "Субъекты-службы". См. также проверку подлинности учетной записи служб MS Entra.

Чтобы настроить и использовать проверку подлинности принципала службы Microsoft Entra ID, необходимо установить Azure CLI локально. Кроме того, необходимо выполнить следующие действия.

1. Создайте или укажите профиль конфигурации Azure Databricks с приведёнными ниже полями, которые будут в вашем .databrickscfg файле. Если вы создаёте профиль, замените заполнители на соответствующие значения.

   Для команд уровня учетной записи задайте следующие значения в .databrickscfg файле:

   [<some-unique-configuration-profile-name>]
   host                = <account-console-url>
   account_id          = <account-id>
   azure_tenant_id     = <azure-service-principal-tenant-id>
   azure_client_id     = <azure-service-principal-application-id>
   azure_client_secret = <azure-service-principal-client-secret>
   

   Для команд уровня рабочей области задайте следующие значения в .databrickscfg файле:

   [<some-unique-configuration-profile-name>]
   host                = <workspace-url>
   azure_tenant_id     = <azure-service-principal-tenant-id>
   azure_client_id     = <azure-service-principal-application-id>
   azure_client_secret = <azure-service-principal-client-secret>
   

   Для команд уровня рабочей области, если целевой субъект-служба Microsoft Entra ID еще не добавлена в рабочую область, то укажите azure_workspace_resource_id вместе с идентификатором ресурса Azure вместо host вместе с URL-адресом рабочей области. В этом случае целевая учетная запись службы Microsoft Entra ID должна иметь как минимум роли Участник или Владелец для ресурса Azure.

   Примечание.

   Расположение по умолчанию для файла .databrickscfg находится в домашнем каталоге пользователя. Это ~ для Linux и macOS, и %USERPROFILE% для Windows.

2. Используйте Databricks CLI с опцией --profile или -p, после которых укажите имя вашего конфигурационного профиля, в составе команды Databricks CLI, например databricks account groups list -p <configuration-profile-name> или databricks clusters list -p <configuration-profile-name>.

   Подсказка

   Вы можете нажать Tab, после --profile или -p, чтобы отобразить список существующих доступных профилей конфигурации и выбрать один из них, вместо того чтобы вводить имя профиля конфигурации вручную.

Проверка подлинности Azure CLI

Аутентификация Azure CLI использует Azure CLI для проверки подлинности вошедшей сущности. См. также проверку подлинности Azure CLI.

Чтобы настроить проверку подлинности Azure CLI, необходимо выполнить следующие действия.

1. Установите Azure CLI локально.

2. Используйте Azure CLI для входа в Azure Databricks, выполнив az login команду. Ознакомьтесь с входом в Azure CLI с учетной записью пользователя Azure Databricks.

3. Создайте или укажите профиль конфигурации Azure Databricks с приведёнными ниже полями, которые будут в вашем .databrickscfg файле. Если вы создаёте профиль, замените заполнители на соответствующие значения.

   Для команд уровня учетной записи задайте следующие значения в .databrickscfg файле:

   [<some-unique-configuration-profile-name>]
   host       = <account-console-url>
   account_id = <account-id>
   

   Для команд уровня рабочей области задайте следующие значения в .databrickscfg файле:

   [<some-unique-configuration-profile-name>]
   host = <workspace-url>
   

   Примечание.

   Расположение по умолчанию для файла .databrickscfg находится в домашнем каталоге пользователя. Это ~ для Linux и macOS, и %USERPROFILE% для Windows.

4. Используйте Databricks CLI с опцией --profile или -p, после которых укажите имя вашего конфигурационного профиля, в составе команды Databricks CLI, например databricks account groups list -p <configuration-profile-name> или databricks clusters list -p <configuration-profile-name>.

   Подсказка

   Вы можете нажать Tab, после --profile или -p, чтобы отобразить список существующих доступных профилей конфигурации и выбрать один из них, вместо того чтобы вводить имя профиля конфигурации вручную.

Порядок проверки подлинности

Всякий раз, когда интерфейс командной строки Databricks должен собрать параметры, необходимые для проверки подлинности в рабочей области или учетной записи Azure Databricks, он осуществляет поиск этих параметров в следующих местах в соответствующем порядке.

1. Для любой команды, выполняемой из рабочего каталога пакета (корневой каталог пакета и любой вложенный путь), значения полей в файлах параметров пакета проекта. (Файлы параметров пакета не поддерживают прямое включение значений учетных данных доступа.)
2. Значения переменных среды, перечисленные в этой статье, а также в переменных среды и полях для единой проверки подлинности клиента.
3. Значения полей профиля конфигурации в .databrickscfg файле, как указано ранее в этой статье.

Всякий раз, когда интерфейс командной строки Databricks находит необходимые параметры, он останавливает поиск в других местах. Например:

• Для работы Databricks CLI требуется значение личного токена доступа Azure Databricks. Задана DATABRICKS_TOKEN переменная среды, а .databrickscfg файл также содержит несколько личных маркеров доступа. В этом примере интерфейс командной строки Databricks использует значение переменной DATABRICKS_TOKEN среды и не ищет .databrickscfg файл.
• Для команды databricks bundle deploy -t dev требуется значение личного маркера доступа Azure Databricks. Переменная DATABRICKS_TOKEN среды не задана, а .databrickscfg файл содержит несколько личных маркеров доступа. Файл настроек пакета проекта содержит объявление среды dev, которое через его поле profile ссылается на профиль конфигурации с именем DEV. В этом примере интерфейс командной строки Databricks выполняет поиск в файле .databrickscfg профиля с именем DEV и использует значение поля token этого профиля.
• Для команды databricks bundle run -t dev hello-job требуется значение личного маркера доступа Azure Databricks. Переменная DATABRICKS_TOKEN среды не задана, а .databrickscfg файл содержит несколько личных маркеров доступа. Файл настроек пакета проекта содержит dev объявление среды, которое ссылается через её host поле на указанный URL рабочей области Azure Databricks. В этом примере интерфейс командной строки Databricks ищет в файле .databrickscfg такие профили конфигурации, которые содержат поле host с подходящим URL-адресом рабочей области. Интерфейс командной строки Databricks находит соответствующее host поле, а затем использует значение поля этого профиля token .