Поддержка жизненных циклов Databricks

В рамках приверженности Azure Databricks к инновациям, возможности платформы и среды выполнения могут быть прекращены и заменены на новые. Выпуски среды выполнения Databricks также снимаются с эксплуатации и заменяются по регулярному графику. На этой странице перечислены этапы выхода на пенсию и сведения о соответствующей поддержке функций платформы и выпусков Databricks Runtime. Он также включает запросы SQL для обнаружения кластеров и заданий с помощью устаревших версий среды выполнения Databricks.

Сведения о предварительных версиях и типах выпусков см. в разделе предварительные выпуски Azure Databricks.

Жизненный цикл функций платформы

Этапы выхода функций платформы Azure Databricks описаны в следующей таблице:

Среда выполнения Databricks поддерживает жизненные циклы

В следующих таблицах описаны этапы политик поддержки и поддержки для версий среды выполнения Databricks. Azure Databricks выпускает среды выполнения в качестве бета-версии и версии общедоступной версии. Azure Databricks поддерживает общедоступные версии в течение шести месяцев, если версия среды выполнения не является версией с долговременной поддержкой (LTS). Для получения сведений о поддерживаемых версиях среды выполнения Databricks см. заметки о выпуске Databricks Runtime и совместимости.

Рабочие нагрузки в неподдерживаемых версиях среды выполнения Databricks могут продолжать выполняться, но Azure Databricks не предоставляет поддержку или исправления.

Жизненный цикл версии Databricks Runtime LTS

Жизненный цикл версии Databricks Runtime, отличный от LTS

Определите, какие кластеры используют устаревшие версии среды выполнения Databricks

Это временное представление содержит сводку по использованию кластера Databricks Runtime для кластеров, работающих под управлением Databricks Runtime версии 10.4 или более ранних версий. Он агрегирует использование за последние 90 дней и включает информацию о рабочей области, идентификаторы кластеров, версии Databricks Runtime, единицы использования и общее использование в единицах Databricks (DBUs).

CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

Чтобы изучить использование устаревшей среды выполнения Databricks для каждого кластера, запросите недавно созданное представление.

SELECT * FROM legacy_dbrs;

Чтобы просмотреть агрегированное использование кластера в рабочих областях и версиях среды выполнения Databricks, используйте следующий запрос. Это помогает определить, какие версии Databricks Runtime все еще используются, количество кластеров, работающих на каждой версии, и общее использование в DBU.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

Определение заданий, использующих устаревшие версии среды выполнения Databricks

Используйте этот запрос для получения всех заданий, выполненных за последние 90 дней, когда последний запуск использовал версию среды выполнения Databricks до 10.4. Это помогает определить рабочие нагрузки, требующие обновления.

%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'