quality-monitors группа команд

Note

Использование интерфейса командной строки Databricks подчиняется лицензии Databricks и уведомлению о конфиденциальности Databricks, включая любые положения о данных использования.

Предупреждение

Эти команды устарели. data-quality Используйте вместо этого команды. Смотрите data-quality группу команд.

Группа quality-monitors команд в интерфейсе командной строки Databricks содержит команды для создания, редактирования и удаления мониторов качества. Монитор вычисляет и отслеживает метрики качества данных или модели для таблицы с течением времени. Он создает таблицы метрик и панель мониторинга, которую можно использовать для мониторинга работоспособности таблиц и задания оповещений. См. профилирование данных.

создание датабрикс мониторов качества

Создайте монитор для указанной таблицы.

Вызывающий объект должен либо:

  1. быть владельцем родительского каталога таблицы, иметь USE_SCHEMA в родительской схеме таблицы и иметь SELECT доступ к таблице
  2. иметь USE_CATALOG в родительском каталоге таблицы, быть владельцем схемы родителя таблицы и иметь SELECT доступ к таблице.
  3. имеют следующие разрешения:
    • USE_CATALOG в родительском каталоге таблицы
    • USE_SCHEMA в родительской схеме таблицы
    • быть владельцем таблицы.

Ресурсы рабочей области, такие как панель мониторинга, будут созданы в рабочей области, в которой был выполнен этот вызов.

databricks quality-monitors create TABLE_NAME ASSETS_DIR OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    Полное имя таблицы.

ASSETS_DIR

    Каталог для хранения ресурсов мониторинга (например, панелей мониторинга, таблиц метрик).

OUTPUT_SCHEMA_NAME

    Схема, в которой создаются выходные таблицы метрик.

Options

--baseline-table-name string

    Имя базовой таблицы, из которой вычисляются метрики смещения.

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

--skip-builtin-dashboard

    Следует ли пропустить создание панели мониторинга по умолчанию, в котором суммируются метрики качества данных.

--warehouse-id string

    Необязательный аргумент для указания хранилища для создания панели мониторинга.

Глобальные флаги

Examples

В следующем примере создается монитор качества для таблицы:

databricks quality-monitors create main.my_schema.my_table /monitoring/assets main.monitoring_schema

удаление мониторов качества в Databricks

Удалите монитор для указанной таблицы.

Вызывающий объект должен либо:

  1. быть владельцем родительского каталога таблицы
  2. иметь USE_CATALOG в родительском каталоге таблицы и быть владельцем родительской схемы таблицы.
  3. имеют следующие разрешения:
    • USE_CATALOG в родительском каталоге таблицы
    • USE_SCHEMA в родительской схеме таблицы
    • быть владельцем таблицы.

Кроме того, вызов должен выполняться из рабочей области, в которой был создан монитор.

Обратите внимание, что таблицы метрик и панель мониторинга не будут удалены в рамках этого вызова; Эти ресурсы необходимо очистить вручную (при необходимости).

databricks quality-monitors delete TABLE_NAME [flags]

Arguments

TABLE_NAME

    Полное имя таблицы.

Options

Глобальные флаги

Examples

В следующем примере удаляется монитор качества:

databricks quality-monitors delete main.my_schema.my_table

получение мониторов качества databricks

Установите монитор для указанной таблицы.

Вызывающий объект должен либо:

  1. быть владельцем родительского каталога таблицы
  2. иметь в USE_CATALOG родительском каталоге таблицы и быть владельцем родительской схемы таблицы.
  3. имеют следующие разрешения:
    • USE_CATALOG в родительском каталоге таблицы
    • USE_SCHEMA в родительской схеме таблицы
    • SELECT привилегии в таблице.

Возвращаемые сведения включают значения конфигурации, а также сведения о ресурсах, созданных монитором. Некоторые сведения (например, панель мониторинга) могут быть отфильтрованы, если вызывающий находится в рабочей области, отличной от той, где был создан монитор.

databricks quality-monitors get TABLE_NAME [flags]

Arguments

TABLE_NAME

    Полное имя таблицы.

Options

Глобальные флаги

Examples

В следующем примере показано, как получить сведения о мониторе качества:

databricks quality-monitors get main.my_schema.my_table

Датабрикс контролеры-качества получить-обновление

Получение сведений об обновлении определенного монитора с помощью заданного идентификатора обновления.

Вызывающий объект должен либо:

  1. быть владельцем родительского каталога таблицы
  2. иметь USE_CATALOG в родительском каталоге таблицы и быть владельцем родительской схемы таблицы.
  3. имеют следующие разрешения:
    • USE_CATALOG в родительском каталоге таблицы
    • USE_SCHEMA в родительской схеме таблицы
    • SELECT привилегии в таблице.

Кроме того, вызов должен выполняться из рабочей области, в которой был создан монитор.

databricks quality-monitors get-refresh TABLE_NAME REFRESH_ID [flags]

Arguments

TABLE_NAME

    Полное имя таблицы.

REFRESH_ID

    Идентификатор обновления.

Options

Глобальные флаги

Examples

В следующем примере показано, как получить сведения об определенном обновлении:

databricks quality-monitors get-refresh main.my_schema.my_table 12345

список обновлений контроллеров качества в датабрикс

Перечислите историю последних обновлений (до 25) для этой таблицы.

Вызывающий объект должен либо:

  1. быть владельцем родительского каталога таблицы
  2. иметь USE_CATALOG в родительском каталоге таблицы и быть владельцем родительской схемы таблицы.
  3. имеют следующие разрешения:
    • USE_CATALOG в родительском каталоге таблицы
    • USE_SCHEMA в родительской схеме таблицы
    • SELECT привилегии в таблице.

Кроме того, вызов должен выполняться из рабочей области, в которой был создан монитор.

databricks quality-monitors list-refreshes TABLE_NAME [flags]

Arguments

TABLE_NAME

    Полное имя таблицы.

Options

Глобальные флаги

Examples

В следующем примере перечислены обновления для монитора качества:

databricks quality-monitors list-refreshes main.my_schema.my_table

Мониторы качества Databricks run-refresh

Очередь обновления метрик на мониторе для указанной таблицы. Обновление будет выполняться в фоновом режиме.

Вызывающий объект должен либо:

  1. быть владельцем родительского каталога таблицы
  2. иметь USE_CATALOG в родительском каталоге таблицы и быть владельцем родительской схемы таблицы.
  3. имеют следующие разрешения:
    • USE_CATALOG в родительском каталоге таблицы
    • USE_SCHEMA в родительской схеме таблицы
    • быть владельцем таблицы

Кроме того, вызов должен выполняться из рабочей области, в которой был создан монитор.

databricks quality-monitors run-refresh TABLE_NAME [flags]

Arguments

TABLE_NAME

    Полное имя таблицы.

Options

Глобальные флаги

Examples

В следующем примере ставится в очередь обновление для монитора качества:

databricks quality-monitors run-refresh main.my_schema.my_table

обновление Databricks мониторов качества

Обновите монитор для указанной таблицы.

Вызывающий объект должен либо:

  1. быть владельцем родительского каталога таблицы
  2. иметь USE_CATALOG в родительском каталоге таблицы и быть владельцем родительской схемы таблицы.
  3. имеют следующие разрешения:
    • USE_CATALOG в родительском каталоге таблицы
    • USE_SCHEMA в родительской схеме таблицы
    • быть владельцем таблицы.

Кроме того, вызов должен выполняться из рабочей области, в которой был создан монитор, и вызывающий объект должен быть исходным создателем монитора.

Не удается обновить определенные поля конфигурации, такие как идентификаторы выходного ресурса.

databricks quality-monitors update TABLE_NAME OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    Полное имя таблицы.

OUTPUT_SCHEMA_NAME

    Схема, в которой создаются выходные таблицы метрик.

Options

--baseline-table-name string

    Имя базовой таблицы, из которой вычисляются метрики смещения.

--dashboard-id string

    Идентификатор панели мониторинга, которая визуализирует вычисляемые метрики.

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

Examples

В этом примере происходит обновление инструмента мониторинга качества:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema

В следующем примере обновляется монитор качества с помощью новой базовой таблицы:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema --baseline-table-name main.my_schema.new_baseline

Глобальные флаги

--debug

  Следует ли включить ведение журнала отладки.

-h или --help

    Отобразить справку по интерфейсу командной строки Databricks, связанной группе команд или отдельной команде.

--log-file струна

    Строка, представляющая файл для записи журналов выходных данных. Если этот флаг не указан, по умолчанию используется запись журналов выходных данных в stderr.

--log-format формат

    Тип формата журнала: text или json. Значение по умолчанию — text.

--log-level струна

    Строка, представляющая уровень формата журнала. Если не указано, уровень формата журнала отключен.

типа -o, --output

    Тип выходных данных команды: text или json. Значение по умолчанию — text.

-p, --profile струна

    Имя профиля в ~/.databrickscfg файле, используемого для выполнения команды. Если флаг не указан, используется профиль DEFAULT, если он существует.

--progress-format формат

    Формат для отображения журналов хода выполнения: default, appendinplace, илиjson

-t, --target струна

    Если применимо, целевой объект пакета для использования

  • Last updated on