Поделиться через

Справочник по конфигурации

В этой статье приведены справочные сведения о ключах, поддерживаемых конфигурацией пакетов ресурсов Databricks (YAML). См. раздел "Что такое пакеты ресурсов Databricks?".

Полные примеры пакетов см. в примерах конфигурации пакета и репозитория GitHub.

Артефакты

Type: Map

Определяет атрибуты для создания артефактов, где каждый ключ — имя артефакта, а значение — карта, определяющая параметры сборки артефакта. Для получения информации о сопоставлении artifacts смотрите артефакты .

Параметры артефактов, определенные на верхнем уровне конфигурации пакета, можно переопределить в карте targets. См. раздел Определение параметров артефактов в пакетах ресурсов Databricks.

artifacts:
  <artifact-name>:
    <artifact-field-name>: <artifact-field-value>
Ключ Тип Описание
build Струна Необязательный набор команд сборки, выполняемых локально перед развертыванием.
dynamic_version Булев Следует ли динамически обновлять версию wheel на основе метки времени файла whl. Если этот параметр установлен на true, новый код можно развернуть без необходимости обновлять версию в setup.py или pyproject.toml. Этот параметр действителен только в том случае, если type задано значение whl. См. артефакты.
executable Струна Тип исполняемого файла. Допустимые значения: bash, shи cmd.
files Последовательность Относительный или абсолютный путь к созданным файлам артефактов. См. артефакты.name.files.
path Струна Локальный путь каталога для артефакта.
type Струна Требуется, если артефакт является колесом Python. Тип артефакта. Допустимые значения — whl и jar.

Пример

artifacts:
  default:
    type: whl
    build: poetry build
    path: .

Артефакты.name.files

Type: Sequence

Относительный или абсолютный путь к созданным файлам артефактов.

Ключ Тип Описание
source Струна Обязательно. Исходный файл артефакта.

пакет

Type: Map

Атрибуты пакета при развертывании в этом целевом объекте.

Ключ Тип Описание
cluster_id Струна Идентификатор кластера, который будет использоваться для запуска пакета. См. cluster_id.
compute_id Струна Устарело. Идентификатор вычислительных ресурсов, используемых для запуска пакета.
databricks_cli_version Струна Версия интерфейса командной строки Databricks, используемая для пакета. См. databricks_cli_version.
deployment Карта Определение развертывания пакета. Поддерживаемые атрибуты см. в режимах развертывания пакета ресурсов Databricks. См. bundle.deployment.
git Карта Сведения об элементе управления версиями Git, связанном с вашим пакетом. Поддерживаемые атрибуты см. git. См. bundle.git.
name Струна Имя комплекта.
uuid Струна Зарезервировано. Универсальный уникальный идентификатор (UUID) для пакета, который однозначно идентифицирует пакет во внутренних системах Databricks. Это создается при инициализации проекта пакета с помощью шаблона Databricks (с помощью команды databricks bundle init).

пакет.развёртывание

Type: Map

Определение развертывания пакета

Ключ Тип Описание
fail_on_active_runs Булев Происходит ли сбой при активных запусках. Если для этого задано значение true, развертывание, которое выполняется, может быть прервано.
lock Карта Атрибуты блокировки развертывания. См. bundle.deployment.lock.

bundle.deployment.lock (заблокировка развертывания пакета)

Type: Map

Атрибуты блокировки развертывания.

Ключ Тип Описание
enabled Булев Включена ли эта блокировка.
force Булев Следует ли принудительно применить эту блокировку, если она включена.

bundle.git

Type: Map

Сведения об элементе управления версиями Git, связанном с вашим пакетом.

Ключ Тип Описание
branch Струна Имя ветви Git. См. git.
origin_url Струна URL-адрес источника репозитория. См. git.

экспериментальный

Type: Map

Определяет атрибуты для экспериментальных функций.

Ключ Тип Описание
python Карта Настраивает загрузку кода Python, определенного с помощью пакета databricks-bundles. См. experimental.python.
python_wheel_wrapper Булев Следует ли использовать оболочку колеса Python.
scripts Карта Команды для выполнения.
use_legacy_run_as Булев Следует ли использовать устаревшее поведение run_as.

experimental.python

Type: Map

Настраивает загрузку кода Python, определенного с помощью пакета databricks-bundles.

Ключ Тип Описание
mutators Последовательность Мутаторы содержат список полностью квалифицированных путей к функциям мутатора, например [my_project.mutators:add_default_cluster].
resources Последовательность Ресурсы содержат список полных путей функций для загрузки ресурсов, определенных в коде Python, таких как ["my_project.resources:load_resources"]
venv_path Струна VEnvPath — это путь к виртуальной среде. Если этот параметр включен, код Python будет выполняться в этой среде. Если он отключен, по умолчанию используется интерпретатор Python, доступный в текущей оболочке.

включать

Type: Sequence

Указывает список глобов пути, содержащих файлы конфигурации для включения в пакет. См. включить.

Разрешения

Type: Sequence

Последовательность, определяющая разрешения для применения к ресурсам, определенным в пакете, где каждый элемент в последовательности является разрешением для определенной сущности.

См. разрешения и Установите разрешения на ресурсы в комплектах ресурсов Databricks.

Ключ Тип Описание
group_name Струна Имя группы, которая имеет набор разрешений на определённом уровне.
level Струна Разрешенное разрешение для пользователя, группы, субъекта-службы, определенного для этого разрешения. Допустимые значения этого ключа различаются в зависимости от того, определены ли разрешения на верхнем уровне пакета или для определенного ресурса. Смотрите раздел "Настройка разрешений для ресурсов" в пакетах ресурсов Databricks.
service_principal_name Струна Имя субъекта-службы, которому задан набор разрешений на уровне.
user_name Струна Имя пользователя, которому назначен набор разрешений на определённом уровне.

Пример

permissions:
  - level: CAN_VIEW
    group_name: test-group
  - level: CAN_MANAGE
    user_name: [email protected]
  - level: CAN_RUN
    service_principal_name: 123456-abcdef

Предустановки

Type: Map

Определяет настройки развертывания пакета. См. пользовательские предустановки.

Ключ Тип Описание
jobs_max_concurrent_runs Целое число Максимальное число параллельных запусков для задачи.
name_prefix Струна Префикс для запусков заданий пакета.
pipelines_development Булев Следует ли блокировать развертывания конвейеров в режиме разработки.
source_linked_deployment Булев Следует ли связать развертывание с источником пакета.
tags Карта Теги для развертывания пакета.
trigger_pause_status Струна Статус приостановки для применения ко всем триггерам и расписаниям рабочих заданий. Допустимые значения : PAUSED или UNPAUSED.

ресурсы

Type: Map

Карта, определяющая ресурсы для пакета, где каждый ключ является именем ресурса, а значением является карта, определяющая ресурс. Дополнительная информация о поддерживаемых ресурсах Databricks Asset Bundles и справочнике по определению ресурсов см. в ресурсах Databricks Asset Bundles.

resources:
  <resource-type>:
    <resource-name>:
      <resource-field-name>: <resource-field-value>
Ключ Тип Описание
apps Карта Определения приложений Databricks для пакета, где каждый ключ — это имя приложения. См. app.
clusters Карта Определения кластера для пакета, где каждый ключ — это имя кластера. См. кластер.
dashboards Карта Определения панели мониторинга для пакета, где каждый ключ — это имя панели мониторинга. См. панель мониторинга .
experiments Карта Определения экспериментов для пакета, где каждый ключ — это имя эксперимента. См. эксперимент.
jobs Карта Определения заданий для пакета, где каждый ключ — это имя задания. См. задание.
model_serving_endpoints Карта Определения конечных точек обслуживания модели для пакета, где каждый ключ — это имя конечной точки обслуживания модели. См. model_serving_endpoint.
models Карта Определения модели для пакета, где каждый ключ — это имя модели. См. модель (устаревшая версия).
pipelines Карта Определения конвейера для пакета, где каждый ключ — это имя конвейера. См. конвейер.
quality_monitors Карта Определения монитора качества для пакета, где каждый ключ — это имя монитора качества. См. quality_monitor (каталог Unity).
registered_models Карта Определения зарегистрированной модели для пакета, где каждый ключ — это имя зарегистрированной модели каталога Unity. См. registered_model (каталог Unity).
schemas Карта Определения схемы для пакета, где каждый ключ — это имя схемы. См. схему (каталог Unity).
secret_scopes Карта Определения области секрета для пакета, где каждый ключ — это имя области секрета. См. secret_scope.
volumes Карта Определения томов для пакета, где каждый ключ — это название тома. См. volume (Unity Catalog).

запуск_как

Type: Map

Идентификатор, используемый при выполнении рабочих процессов пакетов ресурсов Databricks. См. Задайте идентификатор выполнения для рабочего процесса пакетов ресурсов Databricks.

Ключ Тип Описание
service_principal_name Струна Идентификатор приложения активного субъекта-службы. Для этого поля требуется роль servicePrincipal/user.
user_name Струна Электронная почта активного пользователя рабочей области. Пользователи, не являющиеся администраторами, могут задать это поле только для собственного сообщения электронной почты.

Сценарии

Type: Map

Скрипты, которые можно запустить с помощью bundle run. См. статью "Выполнение скриптов".

scripts:
  <script-name>:
    <script-field-name>: <script-field-value>
Ключ Тип Описание
content Струна Команды для выполнения

синхронизировать

Type: Map

Файлы и пути к файлам для включения или исключения в пакет. См. синхронизацию с.

Ключ Тип Описание
exclude Последовательность Список файлов или папок, которые следует исключить из пакета.
include Последовательность Список файлов или папок для включения в пакет.
paths Последовательность Пути локальных папок, которые могут находиться вне корневого каталога пакета, для синхронизации с рабочей областью при развертывании пакета.

Цели

Type: Map

Определяет целевые объекты развертывания для пакета. См. цели 

targets:
  <target-name>:
    <target-field-name>: <target-field-value>
Ключ Тип Описание
artifacts Карта Артефакты, которые необходимо включить в целевое развертывание. См. targets.name.artifacts.
bundle Карта Атрибуты пакета при развертывании в этом целевом объекте. См. цели.name.bundle.
cluster_id Струна Идентификатор кластера, используемого для этого целевого объекта.
compute_id Струна Устарело. Идентификатор вычислительных ресурсов, используемых для этого целевого объекта.
default Булев Указывает, является ли этот целевой объект целевым объектом по умолчанию.
git Карта Параметры управления версиями Git для целевого объекта. См. targets.name.git.
mode Струна Режим развертывания целевого объекта. Допустимые значения: development или production. См. режимы развертывания пакета ресурсов Databricks.
permissions Последовательность Разрешения для развертывания и запуска пакета в целевом объекте. См. цели.name.permissions.
presets Карта Предустановки развертывания для целевого объекта. См. целевые объекты.name.presets.
resources Карта Определения ресурсов для целевого объекта. См.цели.name.resources.
run_as Карта Удостоверение, используемое для запуска пакета, см. в разделе Указание удостоверения выполнения для рабочего процесса пакетов активов Databricks. См . целевые объекты.name.run_as.
sync Карта Локальные пути для синхронизации с целевой рабочей областью при запуске или развертывании пакета. Смотрите цели.name.sync.
variables Карта Пользовательские определения переменных для целевого объекта. См. цели.name.переменные.
workspace Карта Рабочая область Databricks для целевого объекта. См. цели.name.workspace.

Цели. name.artifacts

Type: Map

Артефакты, которые необходимо включить в целевое развертывание.

artifacts:
  <artifact-name>:
    <artifact-field-name>: <artifact-field-value>
Ключ Тип Описание
build Струна Необязательный набор команд сборки, отличных от по умолчанию, выполняемых локально перед развертыванием.
executable Струна Тип исполняемого файла. Допустимые значения: bash, shи cmd.
files Последовательность Исходные файлы артефакта. См. целевые объекты.название.артефакты.название.файлы.
path Струна Расположение, в котором будет сохранен построенный артефакт.
type Струна Обязательно. Тип артефакта. Допустимые значения — whl.

Цели. name.artifacts. name.files

Type: Sequence

Исходные файлы артефакта.

Ключ Тип Описание
source Струна Обязательно. Путь к файлам, используемым для создания артефакта.

Цели.name.bundle

Type: Map

Атрибуты пакета при развертывании в этом целевом объекте.

Ключ Тип Описание
cluster_id Струна Идентификатор кластера, который будет использоваться для запуска пакета. См. cluster_id.
compute_id Струна Устарело. Идентификатор вычислительных ресурсов, используемых для запуска пакета.
databricks_cli_version Струна Версия интерфейса командной строки Databricks, используемая для пакета. См. databricks_cli_version.
deployment Карта Определение развертывания пакета. Поддерживаемые атрибуты см. в режимах развертывания пакета ресурсов Databricks. Смотрите цели.name.bundle.deployment.
git Карта Сведения об элементе управления версиями Git, связанном с вашим пакетом. Поддерживаемые атрибуты см. git. См. целевые объекты.name.bundle.git.
name Струна Имя комплекта.
uuid Струна Зарезервировано. Универсальный уникальный идентификатор (UUID) для пакета, который однозначно идентифицирует пакет во внутренних системах Databricks. Это создается при инициализации проекта пакета с помощью шаблона Databricks (с помощью команды databricks bundle init).

Цели.name.bundle.deployment

Type: Map

Определение развертывания пакета

Ключ Тип Описание
fail_on_active_runs Булев Происходит ли сбой при активных запусках. Если для этого задано значение true, развертывание, которое выполняется, может быть прервано.
lock Карта Атрибуты блокировки развертывания. См. цели.name.bundle.deployment.lock.

Цели.name.bundle.deployment.lock

Type: Map

Атрибуты блокировки развертывания.

Ключ Тип Описание
enabled Булев Включена ли эта блокировка.
force Булев Следует ли принудительно применить эту блокировку, если она включена.

Цели.name.bundle.git

Type: Map

Сведения об элементе управления версиями Git, связанном с вашим пакетом.

Ключ Тип Описание
branch Струна Имя ветви Git. См. git.
origin_url Струна URL-адрес источника репозитория. См. git.

Цели. name.git

Type: Map

Параметры управления версиями Git для целевого объекта.

Ключ Тип Описание
branch Струна Имя ветви Git. См. git.
origin_url Струна URL-адрес источника репозитория. См. git.

Цели. name.permissions

Type: Sequence

Разрешения для развертывания и запуска пакета в целевом объекте.

Ключ Тип Описание
group_name Струна Имя группы, которая имеет набор разрешений на определённом уровне.
level Струна Разрешенное разрешение для пользователя, группы, субъекта-службы, определенного для этого разрешения.
service_principal_name Струна Имя субъекта-службы, которому задан набор разрешений на уровне.
user_name Струна Имя пользователя, которому назначен набор разрешений на определённом уровне.

Цели.имя.предустановки

Type: Map

Предустановки развертывания для целевого объекта.

Ключ Тип Описание
jobs_max_concurrent_runs Целое число Максимальное число параллельных запусков для задачи.
name_prefix Струна Префикс для запусков заданий пакета.
pipelines_development Булев Следует ли блокировать развертывания конвейеров в режиме разработки.
source_linked_deployment Булев Следует ли связать развертывание с источником пакета.
tags Карта Теги для развертывания пакета.
trigger_pause_status Струна Статус приостановки для применения ко всем триггерам и расписаниям рабочих заданий. Допустимые значения : PAUSED или UNPAUSED.

Цели.имя.ресурсы

Type: Map

Определения ресурсов для целевого объекта.

Ключ Тип Описание
apps Карта Определения приложений Databricks для пакета, где каждый ключ — это имя приложения. См. app.
clusters Карта Определения кластера для пакета, где каждый ключ — это имя кластера. См. кластер.
dashboards Карта Определения панели мониторинга для пакета, где каждый ключ — это имя панели мониторинга. См. панель мониторинга .
experiments Карта Определения экспериментов для пакета, где каждый ключ — это имя эксперимента. См. эксперимент.
jobs Карта Определения заданий для пакета, где каждый ключ — это имя задания. См. задание.
model_serving_endpoints Карта Определения конечных точек обслуживания модели для пакета, где каждый ключ — это имя конечной точки обслуживания модели. См. model_serving_endpoint.
models Карта Определения модели для пакета, где каждый ключ — это имя модели. См. модель (устаревшая версия).
pipelines Карта Определения конвейера для пакета, где каждый ключ — это имя конвейера. См. конвейер.
quality_monitors Карта Определения монитора качества для пакета, где каждый ключ — это имя монитора качества. См. quality_monitor (каталог Unity).
registered_models Карта Определения зарегистрированной модели для пакета, где каждый ключ — это имя зарегистрированной модели каталога Unity. См. registered_model (каталог Unity).
schemas Карта Определения схемы для пакета, где каждый ключ — это имя схемы. См. схему (каталог Unity).
volumes Карта Определения томов для пакета, где каждый ключ — это название тома. См. volume (Unity Catalog).

Цели. name.run_as

Type: Map

Учетная запись, используемая для запуска пакета.

Ключ Тип Описание
service_principal_name Струна Идентификатор приложения активного субъекта-службы. Для этого поля требуется роль servicePrincipal/user.
user_name Струна Электронная почта активного пользователя рабочей области. Пользователи, не являющиеся администраторами, могут задать это поле только для собственного сообщения электронной почты.

Цели. name.sync

Type: Map

Локальные пути для синхронизации с целевой рабочей областью при запуске или развертывании пакета.

Ключ Тип Описание
exclude Последовательность Список файлов или папок, которые следует исключить из пакета.
include Последовательность Список файлов или папок для включения в пакет.
paths Последовательность Пути локальных папок, которые могут находиться вне корневого каталога пакета, для синхронизации с рабочей областью при развертывании пакета.

Цели.name.переменные

Type: Map

Пользовательские определения переменных для целевого объекта.

variables:
  <variable-name>:
    <variable-field-name>: <variable-field-value>
Ключ Тип Описание
default Любое Значение по умолчанию для переменной. Если это не указано,
description Струна Описание переменной.
lookup Карта Имя оповещения, cluster_policy, кластера, панели мониторинга, instance_pool, задания, хранилища метаданных, конвейера, запроса, service_principal или объекта хранилища, для которого требуется получить идентификатор. См. целевые объекты.name.variables. name.lookup.
type Струна Тип переменной.

Цели. name.variables. name.lookup

Type: Map

Имя оповещения, cluster_policy, кластера, панели мониторинга, instance_pool, задания, хранилища метаданных, конвейера, запроса, service_principal или объекта хранилища, для которого требуется получить идентификатор.

Ключ Тип Описание
alert Струна Имя оповещения, для которого требуется получить идентификатор.
cluster Струна Имя кластера, для которого требуется получить идентификатор.
cluster_policy Струна Имя cluster_policy, для которого требуется получить идентификатор.
dashboard Струна Имя панели мониторинга, для которой требуется получить идентификатор.
instance_pool Струна Имя instance_pool, для которого требуется получить идентификатор.
job Струна Имя задания, для которого требуется получить идентификатор.
metastore Струна Имя хранилища метаданных, для которого требуется получить идентификатор.
notification_destination Струна Имя "notification_destination", для которого нужно получить идентификатор.
pipeline Струна Имя конвейера, для которого требуется получить идентификатор.
query Струна Имя запроса, для которого требуется получить идентификатор.
service_principal Струна Имя service_principal, для которого требуется получить идентификатор.
warehouse Струна Имя хранилища, для которого требуется получить идентификатор.

Цели. name.workspace

Type: Map

Рабочая область Databricks для целевого объекта.

Ключ Тип Описание
artifact_path Струна Путь артефакта, используемый в рабочей области как для развертываний, так и для выполнения рабочих процессов
auth_type Струна Тип проверки подлинности.
azure_client_id Струна Идентификатор клиента Azure
azure_environment Струна Среда Azure
azure_login_app_id Струна Идентификатор приложения для входа Azure
azure_tenant_id Струна Идентификатор клиента Azure
azure_use_msi Булев Следует ли использовать MSI для Azure
azure_workspace_resource_id Струна Идентификатор ресурса рабочей области Azure
client_id Струна Идентификатор клиента для рабочей области
file_path Струна Путь к файлу, используемый в рабочей области как для развертываний, так и для выполнения рабочих процессов
google_service_account Струна Имя учетной записи службы Google
host Струна URL хоста рабочей области в Databricks
profile Струна Имя профиля рабочей области Databricks
resource_path Струна Путь к ресурсу рабочей области
root_path Струна Корневой путь рабочей области Databricks
state_path Струна Путь состояния рабочей области

Переменные

Type: Map

Определяет пользовательскую переменную для пакета. См. переменные.

variables:
  <variable-name>:
    <variable-field-name>: <variable-field-value>
Ключ Тип Описание
default Любое Значение по умолчанию для переменной.
description Струна Описание переменной
lookup Карта Имя alert, cluster_policy, cluster, dashboard, instance_pool, job, metastore, pipeline, query, service_principalили объект warehouse, для которого требуется получить идентификатор. См. переменные.name.lookup.
type Струна Тип переменной.

Переменные. name.lookup

Type: Map

Имя оповещения, cluster_policy, кластера, панели мониторинга, instance_pool, задания, хранилища метаданных, конвейера, запроса, service_principal или объекта хранилища, для которого требуется получить идентификатор.

Ключ Тип Описание
alert Струна Имя оповещения, для которого требуется получить идентификатор.
cluster Струна Имя кластера, для которого требуется получить идентификатор.
cluster_policy Струна Имя cluster_policy, для которого требуется получить идентификатор.
dashboard Струна Имя панели мониторинга, для которой требуется получить идентификатор.
instance_pool Струна Имя instance_pool, для которого требуется получить идентификатор.
job Струна Имя задания, для которого требуется получить идентификатор.
metastore Струна Имя хранилища метаданных, для которого требуется получить идентификатор.
notification_destination Струна Имя notification_desination, для которого требуется получить идентификатор.
pipeline Струна Имя конвейера, для которого требуется получить идентификатор.
query Струна Имя запроса, для которого требуется получить идентификатор.
service_principal Струна Имя service_principal, для которого требуется получить идентификатор.
warehouse Струна Имя хранилища, для которого требуется получить идентификатор.

рабочее пространство

Type: Map

Определяет рабочую область Databricks для пакета. См. рабочую область .

Ключ Тип Описание
artifact_path Струна Путь артефакта, используемый в рабочей области как для развертываний, так и для выполнения рабочих процессов
auth_type Струна Тип проверки подлинности.
azure_client_id Струна Идентификатор клиента Azure
azure_environment Струна Среда Azure
azure_login_app_id Струна Идентификатор приложения для входа Azure
azure_tenant_id Струна Идентификатор клиента Azure
azure_use_msi Булев Следует ли использовать MSI для Azure
azure_workspace_resource_id Струна Идентификатор ресурса рабочей области Azure
client_id Струна Идентификатор клиента для рабочей области
file_path Струна Путь к файлу, используемый в рабочей области как для развертываний, так и для выполнения рабочих процессов
google_service_account Струна Имя учетной записи службы Google
host Струна URL хоста рабочей области в Databricks
profile Струна Имя профиля рабочей области Databricks
resource_path Струна Путь к ресурсу рабочей области
root_path Струна Корневой путь рабочей области Databricks
state_path Струна Путь состояния рабочей области