Ресурсы пакетов Databricks.

Пакеты ресурсов Databricks позволяют указать информацию о ресурсах Azure Databricks, которые используются в рамках пакета, при помощи сопоставления resources в конфигурации пакета. См. сопоставление ресурсов и справку по ключам ресурсов.

В этой статье описаны поддерживаемые типы ресурсов для пакетов и приведены подробные сведения и пример для каждого поддерживаемого типа. Дополнительные примеры см. в примерах конфигурации пакета .

поддерживаемые ресурсы

В следующей таблице перечислены поддерживаемые типы ресурсов для пакетов. Некоторые ресурсы можно создать, определив их в пакете и развернув пакет, и некоторые ресурсы можно создать только путем ссылки на существующий ресурс для включения в пакет.

Ресурсы определяются с помощью полезных данных запроса на создание соответствующего объекта REST API Databricks, где поддерживаемые поля объекта, заданные в формате YAML, являются поддерживаемыми свойствами ресурса. Ссылки на документацию для соответствующих полезных нагрузок каждого ресурса представлены в таблице.

приложение

Type: Map

Ресурс приложения определяет приложение Databricks . Сведения о приложениях Databricks см. в разделе "Приложения Databricks".

Чтобы добавить приложение, укажите параметры для определения приложения, включая необходимые source_code_path.

databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app

apps:
  <app-name>:
    <app-field-name>: <app-field-value>

приложения.name.ресурсы

Type: Sequence

Вычислительные ресурсы для приложения.

Пример

В следующем примере создается приложение с именем my_app, которое управляет заданием, созданным пакетом:

resources:
  jobs:
    # Define a job in the bundle
    hello_world:
      name: hello_world
      tasks:
        - task_key: task
          spark_python_task:
            python_file: ../src/main.py
          environment_key: default

      environments:
        - environment_key: default
          spec:
            client: '1'

  # Define an app that manages the job in the bundle
  apps:
    job_manager:
      name: 'job_manager_app'
      description: 'An app which manages a job created by this bundle'

      # The location of the source code for the app
      source_code_path: ../src/app

      # The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
      resources:
        - name: 'app-job'
          job:
            id: ${resources.jobs.hello_world.id}
            permission: 'CAN_MANAGE_RUN'

app.yaml Соответствующий определяет конфигурацию для запуска приложения:

command:
  - flask
  - --app
  - app
  - run
  - --debug
env:
  - name: JOB_ID
    valueFrom: 'app-job'

Полный пакет примеров приложения Databricks см. в репозитории GitHub.

кластер

Type: Map

Ресурс кластера определяет кластер.

clusters:
  <cluster-name>:
    <cluster-field-name>: <cluster-field-value>

Примеры

В следующем примере создается выделенный (один пользователь) кластер для текущего пользователя с Databricks Runtime 15.4 LTS и политикой кластера:

resources:
  clusters:
    my_cluster:
      num_workers: 0
      node_type_id: 'i3.xlarge'
      driver_node_type_id: 'i3.xlarge'
      spark_version: '15.4.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'
      autotermination_minutes: 60
      enable_elastic_disk: true
      single_user_name: ${workspace.current_user.userName}
      policy_id: '000128DB309672CA'
      enable_local_disk_encryption: false
      data_security_mode: SINGLE_USER
      runtime_engine": STANDARD

В этом примере создается простой кластер my_cluster, который затем используется для запуска блокнота в my_job.

bundle:
  name: clusters

resources:
  clusters:
    my_cluster:
      num_workers: 2
      node_type_id: 'i3.xlarge'
      autoscale:
        min_workers: 2
        max_workers: 7
      spark_version: '13.3.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'

  jobs:
    my_job:
      tasks:
        - task_key: test_task
          notebook_task:
            notebook_path: './src/my_notebook.py'
          existing_cluster_id: ${resources.clusters.my_cluster.id}

информационная панель

Type: Map

Ресурс панели мониторинга позволяет управлять панелями мониторинга AI/BI в пакете. Сведения о панелях мониторинга AI/BI см. в панелях мониторинга.

sync:
  exclude:
    - src/*.lvdash.json

dashboards:
  <dashboard-name>:
    <dashboard-field-name>: <dashboard-field-value>

Пример

Пример ниже демонстрирует и развертывает образец панели мониторинга NYC Taxi Trip Analysis в рабочей области Databricks.

resources:
  dashboards:
    nyc_taxi_trip_analysis:
      display_name: 'NYC Taxi Trip Analysis'
      file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
      warehouse_id: ${var.warehouse_id}

Если вы используете пользовательский интерфейс для изменения панели мониторинга, изменения, внесенные с помощью пользовательского интерфейса, не применяются к JSON-файлу панели мониторинга в локальном пакете, если вы явно не обновите его с помощью bundle generate. Вы можете использовать параметр --watch для непрерывного опроса и получения изменений на панели мониторинга. См. создание файла конфигурации пакета.

Кроме того, при попытке развернуть пакет, содержащий JSON-файл панели мониторинга, отличный от файла JSON в удаленной рабочей области, возникнет ошибка. Чтобы выполнить развертывание и перезаписать панель мониторинга в удаленной рабочей области с локальной версией, используйте параметр --force. См. раздел Развертывание пакета.

эксперимент

Type: Map

Ресурс эксперимента позволяет определить эксперименты MLflow в составе пакета. Сведения об экспериментах MLflow см. в разделе Упорядочить тренировочные запуски с помощью экспериментов MLflow.

experiments:
  <experiment-name>:
    <experiment-field-name>: <experiment-field-value>

Пример

В следующем примере определяется эксперимент, который могут просматривать все пользователи:

resources:
  experiments:
    experiment:
      name: my_ml_experiment
      permissions:
        - level: CAN_READ
          group_name: users
      description: MLflow experiment used to track runs

работа

Type: Map

Ресурс задания позволяет вам определить работы и их соответствующие задачи в вашем пакете. Сведения о заданиях см. в разделе "Задания Lakeflow". Учебник, использующий шаблон наборов ресурсов Databricks для создания задания, см. в разделе "Разработка задания с помощью пакетов активов Databricks".

jobs:
  <job-name>:
    <job-field-name>: <job-field-value>

Примеры

В следующем примере описывается задание с ключом ресурса hello-job с одной задачей в блокноте.

resources:
  jobs:
    hello-job:
      name: hello-job
      tasks:
        - task_key: hello-task
          notebook_task:
            notebook_path: ./hello.py

В следующем примере определяется задание с записной книжкой SQL:

resources:
  jobs:
    job_with_sql_notebook:
      name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
      tasks:
        - task_key: notebook
          notebook_task:
            notebook_path: ./select.sql
            warehouse_id: 799f096837fzzzz4

Дополнительные примеры конфигурации заданий см. в разделе "Конфигурация задания".

Сведения об определении задач задания и переопределении параметров задания см. в следующем разделе:

• Добавление задач в задания в пакетах ресурсов Databricks
• Переопределение настроек задач в пакетах ресурсов Databricks
• Переопределение параметров кластера в пакетах ресурсов Databricks

модель (устаревшая версия)

Type: Map

Ресурс модели позволяет определять устаревшие модели в пакетах. Databricks рекомендует вместо этого использовать зарегистрированные модели в каталоге Unity.

конечная_точка_обслуживания_моделей

Type: Map

Ресурс model_serving_endpoint позволяет определить модели обслуживания конечных точек. См. раздел Управление конечными точками обслуживания моделей.

model_serving_endpoints:
  <model_serving_endpoint-name>:
    <model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>

Пример

В следующем примере определяется конечная точка обслуживания модели каталога Unity:

resources:
  model_serving_endpoints:
    uc_model_serving_endpoint:
      name: 'uc-model-endpoint'
      config:
        served_entities:
          - entity_name: 'myCatalog.mySchema.my-ads-model'
            entity_version: '10'
            workload_size: 'Small'
            scale_to_zero_enabled: 'true'
        traffic_config:
          routes:
            - served_model_name: 'my-ads-model-10'
              traffic_percentage: '100'
      tags:
        - key: 'team'
          value: 'data science'

конвейер

Type: Map

Ресурс конвейера позволяет создавать конвейеры Декларативных конвейеров Lakeflow. Сведения о конвейерах см. в разделе "Декларативные конвейеры Lakeflow". Руководство по созданию конвейера с помощью шаблона наборов ресурсов Databricks см. в разделе "Разработка декларативных конвейеров Lakeflow с помощью пакетов активов Databricks".

pipelines:
  <pipeline-name>:
    <pipeline-field-name>: <pipeline-field-value>

Пример

В следующем примере определяется конвейер с ключом ресурса hello-pipeline:

resources:
  pipelines:
    hello-pipeline:
      name: hello-pipeline
      clusters:
        - label: default
          num_workers: 1
      development: true
      continuous: false
      channel: CURRENT
      edition: CORE
      photon: false
      libraries:
        - notebook:
            path: ./pipeline.py

Дополнительные примеры конфигурации конвейера см. в разделе "Конфигурация конвейера".

монитор качества (каталог Unity)

Type: Map

Ресурс quality_monitor позволяет определить монитор таблицы каталога Unity. Сведения о мониторах см. в разделе "Общие сведения о мониторинге Databricks Lakehouse".

quality_monitors:
  <quality_monitor-name>:
    <quality_monitor-field-name>: <quality_monitor-field-value>

Примеры

Для полного примера пакета, определяющего quality_monitor, см. пакет mlops_demo.

В следующих примерах определяются мониторы качества для типов профилей InferenceLog, TimeSeries и Snapshot.

# InferenceLog profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 day]
        model_id_col: model_id
        prediction_col: prediction
        label_col: price
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# TimeSeries profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      time_series:
        granularities: [30 minutes]
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# Snapshot profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      snapshot: {}
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

зарегистрированная модель (каталог Unity)

Type: Map

Ресурс зарегистрированной модели позволяет определять модели в каталоге Unity. Сведения о зарегистрированных моделях в каталоге Unity смотрите в статье Управление жизненным циклом модели в каталоге Unity.

registered_models:
  <registered_model-name>:
    <registered_model-field-name>: <registered_model-field-value>

Пример

В следующем примере определяется зарегистрированная модель в каталоге Unity:

resources:
  registered_models:
    model:
      name: my_model
      catalog_name: ${bundle.target}
      schema_name: mlops_schema
      comment: Registered model in Unity Catalog for ${bundle.target} deployment target
      grants:
        - privileges:
            - EXECUTE
          principal: account users

схема (каталог Unity)

Type: Map

Тип ресурса схемы позволяет определять схемы каталога Unity для таблиц и других ресурсов в рабочих процессах и конвейерах, созданных в составе пакета. Схема, отличная от других типов ресурсов, имеет следующие ограничения:

• Владелец ресурса схемы всегда является пользователем развертывания и не может быть изменен. Если run_as указан в пакете, он будет игнорироваться операциями схемы.
• Доступны только поля, поддерживаемые соответствующим объектом schemas create API для ресурса схемы. Например, enable_predictive_optimization не поддерживается, так как он доступен только в API обновления.

schemas:
  <schema-name>:
    <schema-field-name>: <schema-field-value>

Примеры

В следующем примере определяется конвейер с ключом ресурса my_pipeline, который создает схему каталога Unity с ключом my_schema в качестве целевого объекта:

resources:
  pipelines:
    my_pipeline:
      name: test-pipeline-{{.unique_id}}
      libraries:
        - notebook:
            path: ../src/nb.ipynb
        - file:
            path: ../src/range.sql
      development: true
      catalog: ${resources.schemas.my_schema.catalog_name}
      target: ${resources.schemas.my_schema.id}

  schemas:
    my_schema:
      name: test-schema-{{.unique_id}}
      catalog_name: main
      comment: This schema was created by Databricks Asset Bundles.

Сопоставление грантов верхнего уровня не поддерживается пакетами Databricks Asset Bundles, поэтому, если вы хотите установить гранты для схемы, определите гранты для схемы в сопоставлении schemas. Для получения дополнительной информации о правах доступа см. раздел Показать, предоставить и отозвать привилегии.

В следующем примере определяется схема каталога Unity с грантами:

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

секретное_пространство

Type: Map

Ресурс secret_scope позволяет определять области секретов в пакете. Сведения о областях секретов см. в разделе "Управление секретами".

secret_scopes:
  <secret_scope-name>:
    <secret_scope-field-name>: <secret_scope-field-value>

Примеры

В следующем примере определяется секретная область, которая использует бэкенд хранилища ключей.

resources:
  secret_scopes:
    secret_scope_azure:
      name: test-secrets-azure-backend
      backend_type: 'AZURE_KEYVAULT'
      keyvault_metadata:
        resource_id: my_azure_keyvault_id
        dns_name: my_azure_keyvault_dns_name

В следующем примере устанавливается пользовательский список управления доступом (ACL) с помощью областей секретов и разрешений.

resources:
  secret_scopes:
    my_secret_scope:
      name: my_secret_scope
      permissions:
        - user_name: admins
          level: WRITE
        - user_name: users
          level: READ

Пример пакета, демонстрирующий, как определить область секрета и создать задание с задачей, которая считывает его, можно найти в репозитории GitHub с примерами пакетов.

том (каталог Unity)

Type: Map

Тип ресурса тома позволяет определять и создавать тома каталога Unity как часть пакета. При развертывании пакета с определенным томом обратите внимание на следующее:

• Нельзя ссылаться на том в artifact_path пакета, пока он не будет существовать в рабочей области. Таким образом, если вы хотите использовать пакеты ресурсов Databricks для создания тома, сначала необходимо определить том в пакете, развернуть его для создания тома, а затем ссылаться на него в artifact_path в последующих развертываниях.
• Тома в наборе не получают префикс dev_${workspace.current_user.short_name}, если для целевого объекта развертывания настроен mode: development. Однако этот префикс можно настроить вручную. См. пользовательские предустановки.

volumes:
  <volume-name>:
    <volume-field-name>: <volume-field-value>

Пример

В следующем примере создается том каталога Unity с ключом my_volume:

resources:
  volumes:
    my_volume:
      catalog_name: main
      name: my_volume
      schema_name: my_schema

Для примера пакета, который выполняет задание по записи в файл в объёме Unity Catalog, см. репозиторий bundle-examples на GitHub.

Общие объекты

гранты

Type: Sequence