Поделиться через


Мониторинг заданий Spark в записной книжке

Записная книжка Microsoft Fabric — это веб-интерактивная поверхность для разработки заданий Apache Spark и проведения экспериментов машинного обучения. В этой статье описывается, как отслеживать ход выполнения заданий Spark, получать советы в записной книжке и переходить к представлению сведений о приложении Spark или пользовательскому интерфейсу Spark для получения более подробных сведений о мониторинге всей записной книжки.

Мониторинг хода выполнения задания Spark

Индикатор хода выполнения задания Spark оснащен индикатором хода в режиме реального времени, который помогает отслеживать состояние выполнения задания для каждой ячейки записной книжки. Состояние и ход выполнения задач можно просмотреть в заданиях и этапах Spark.

Снимок экрана: ячейка записной книжки и список хода выполнения задания Spark.

Мониторинг использования ресурсов

График использования исполнителя визуально отображает выделение исполнителей заданий Spark и использование ресурсов. В настоящее время эта функция отображается только для версии spark 3.4 и выше. На вкладке "Ресурсы" отобразится линейчатая диаграмма для использования ресурсов ячейки кода.

Снимок экрана: ячейка записной книжки и использование ресурсов ячейки кода.

Просмотр рекомендаций Spark Advisor

Встроенный помощник Spark анализирует код записной книжки и выполнение Spark в режиме реального времени, чтобы оптимизировать производительность записной книжки и помочь в отладке сбоев. Существует три типа встроенных советов: сведения, предупреждение и ошибка. Значки с числами указывают соответствующее количество советов в каждой категории (сведения, предупреждение и ошибка), созданные помощником Spark для определенной ячейки записной книжки.

Чтобы просмотреть совет, щелкните стрелку в начале, чтобы развернуть и показать сведения.

Снимок экрана с иконкой лампочки для раскрытия подробностей.

После расширения раздела советника один или несколько советов становятся видны.

Снимок экрана, показывающий лампочку для расширения коробки.

Обнаружение перекоса в Spark Advisor

Отклонение данных — это распространенный вопрос, с которым часто сталкиваются пользователи. Помощник Spark поддерживает обнаружение отклонений и при обнаружении отклонений соответствующий анализ отображается ниже.

Снимок экрана, показывающий сведения о дисбалансе данных.

Доступ к журналам Spark в режиме реального времени

Журналы Spark необходимы для поиска исключений и диагностики производительности или сбоев. Функция контекстного мониторинга в записной книжке доставляет журналы прямо в конкретную ячейку, которую вы выполняете. Вы можете искать журналы или фильтровать их по ошибкам и предупреждениям.

Снимок экрана, показывающий логи в режиме реального времени под ячейкой кода.

Если вы хотите получить доступ к дополнительным сведениям о выполнении Spark на уровне записной книжки, перейдите на страницу сведений о приложении Spark или пользовательский интерфейс Spark с помощью параметров, доступных в контекстном меню.

Снимок экрана, на котором показан интерфейс доступа Spark UI и страница подробного мониторинга.