Добавление уведомлений в задание

Вы можете настроить уведомления для отправки при выполнении задания и отдельных задач задания для следующих событий:

• Начало
• Успешное завершение
• Неудача
• Длительность превышает настроенное пороговое значение

Вы можете отправлять уведомления на один или несколько адресов электронной почты или в такие сторонние системы, как Slack, Microsoft Teams, PagerDuty, или любую службу, использующую веб-хуки. В этой статье описаны различные способы настройки уведомлений на уровне задания.

Добавьте пункты назначения сторонних систем

Вы можете настроить уведомления для доставки в сторонние системы. Сторонние системы назначения интегрируются с популярными средствами уведомлений, включая Slack, PagerDuty, Microsoft Teams и веб-перехватчики HTTP. Системные назначения должен настраивать администратор.

Чтобы настроить системные пункты назначения, перейдите в настройки администратора, нажмите Изменить системные уведомления, а затем нажмите Создать новое назначение. Для каждого задания или задачи можно настроить не более трех системных назначений для каждого типа события уведомления. См. страницу параметров администратора.

Настройка уведомлений в задании

Прежде чем начать, рассмотрите следующее:

• Уведомления на уровне задания не отправляются при повторной попытке выполнения неудачных задач. Чтобы получить уведомление об ошибке после каждой неудачной задачи, используйте вместо этого уведомления о задачах. Чтобы добавить уведомления для выполнения задач, нажмите кнопку "Добавить" рядом с Уведомления на панели задач при добавлении или изменении задачи.
• Для каждого задания или задачи можно настроить не более трех системных назначений для каждого типа события уведомления.
• Задание, которое было завершено в состоянии Успешно с незавершёнными этапами, считается успешным. Чтобы получать уведомления о завершении заданий в этом состоянии, необходимо выбрать "Успешно" при настройке уведомлений.
• Чтобы получать уведомления о превышении предельной продолжительности задания, необходимо задать ограничение.

Чтобы добавить одно или несколько уведомлений при запуске задания, его завершении или сбое, сделайте следующее:

1. В панели сведений о работе прокрутите вниз до раздела уведомления о работе, а затем щелкните Изменить уведомления.
2. В левом нижнем углу щелкните Добавить уведомление.
3. В пункте назначениявыберите адрес электронной почты или системное назначение.
4. Установите флажки для каждого типа события, о которых вы хотите получать уведомления: начало, успех, неудача, предупреждение о длительностиили задержка потокового воспроизведения.
5. Чтобы настроить другое назначение, нажмите кнопку Добавить уведомление еще раз и повторите предыдущие шаги.
6. После настройки всех уведомлений нажмите на кнопку Сохранить.

Настройка уведомлений для медленных заданий

Если вы настроили ожидаемую длительность задания, можно добавить уведомление электронной почты или системы, если задание или задача превышает настроенное пороговое значение. Чтобы получить уведомление о задании или задаче, превышающей пороговое значение длительности, выберите предупреждение о длительности при добавлении или изменении уведомления. Чтобы получить уведомление о задании или задаче, которая превышает метрику отставания в потоковой передаче, выберите невыполненная работа потоковой передачи при добавлении или изменении уведомления.

Следующее относится к метрикам очереди потоковой передачи.

• Уведомления отправляются, когда средняя невыполненная работа в течение 10-минутного периода превышает определенное пороговое значение.
• Чтобы предотвратить чрезмерные сообщения, Azure Databricks ожидает 30 минут, прежде чем определить, следует ли отправлять другое сообщение. Хотя невыполненная работа остается высокой, вы будете получать обновления с интервалом в 30 минут.

Фильтрация уведомлений для пропущенных или отмененных запусков

Вы можете уменьшить количество отправляемых оповещений, отключив уведомления о пропущенных или отмененных выполнениях. Чтобы отфильтровать уведомления, выберите Отключить уведомления для пропущенных запусков или Отключить уведомления для отмененных запусков при добавлении или изменении уведомлений электронной почты или системных уведомлений.

По умолчанию задачи выполняются три раза до полного сбоя. При настройке уведомлений о задачах можно выбрать отключить уведомления до последней попытки, чтобы исключить все уведомления до финальной попытки.

Полезные данные веб-перехватчика HTTP

Веб-перехватчики HTTP можно настроить для отправки при наступлении событий, перечисленных в следующей таблице.

Ниже приведены примеры нагрузок, отправленных Azure Databricks в вашу настроенную конечную точку. Эти вебхуки можно применять к заданиям или задачам.

Уведомление о событии запуска задания:

{
  "event_type": "jobs.on_start",
  "workspace_id": "your_workspace_id",
  "run": {
    "run_id": "run_id"
  },
  "job": {
    "job_id": "job_id",
    "name": "job_name"
  }
}

Уведомление о событии запуска задачи:

{
  "event_type": "jobs.on_start",
  "workspace_id": "your_workspace_id",
  "task": {
    "task_key": "task_name"
  },
  "run": {
    "run_id": "run_id_of_task"
    "parent_run_id": "run_id_of_parent_job_run"
  },
  "job": {
    "job_id": "job_id",
    "name": "job_name"
  }
}

Уведомление о сбое выполнения задания:

{
  "event_type": "jobs.on_failure",
  "workspace_id": "your_workspace_id",
  "run": {
    "run_id": "run_id"
  },
  "job": {
    "job_id": "job_id",
    "name": "job_name"
  }
}

Уведомление об успешном выполнении задачи:

{
  "event_type": "jobs.on_success",
  "workspace_id": "your_workspace_id",
  "task": {
    "task_key": "task_name"
  },
  "run": {
    "run_id": "run_id_of_task"
    "parent_run_id": "run_id_of_parent_job_run"
  },
  "job": {
    "job_id": "job_id",
    "name": "job_name"
  }
}