Мониторинг сведений о приложении Apache Spark

С помощью Microsoft Fabric вы можете использовать Apache Spark для запуска записных книжек, заданий и других видов приложений в рабочей области. В этой статье объясняется, как отслеживать приложение Apache Spark.

Вы можете получить доступ к странице сведений о мониторинге Spark из Центра мониторинга Fabric или панели "Последние запуски" элемента.

Чтобы открыть задание приложения Apache Spark на панели последних запусков, выполните следующие действия.

• В контекстном меню определения задания Spark или элемента записной книжки выберите "Последнее выполнение".
• На странице "Последние запуски" выберите задание, чтобы открыть сведения о его мониторинге.

Вкладка "Задания"

На вкладке "Задания" отображается список заданий для выбранного приложения Spark. Вы можете просматривать такие сведения, как идентификатор задания, описание, состояние, этапы, задачи, длительность, обработанные данные, чтение данных, запись данных и фрагмент кода.

• Щелкните идентификатор задания , чтобы развернуть или свернуть сведения о задании.
• Щелкните описание задания , чтобы перейти непосредственно на страницу задания или этапа в пользовательском интерфейсе Spark.
• Щелкните фрагмент кода , чтобы просмотреть и скопировать код, связанный с этим заданием.
• Используйте значок фильтра (верхний правый угол), чтобы фильтровать задания по записной книжке при выполнении в сеансе Spark с высоким параллелизмом.

Вкладка "Ресурсы"

На вкладке "Ресурсы" показан график использования исполнителя, который визуализирует выделение и использование исполнителей Spark в режиме реального времени во время выполнения Spark. Дополнительные сведения см. в разделе "Мониторинг использования ресурсов приложений Apache Spark".

Панель сводки

На странице мониторинга приложений щелкните значок "Свойства" в правом верхнем углу, чтобы открыть или свернуть панель сводки. Здесь можно просмотреть сведения о приложении, в том числе:

Вкладка "Журналы"

Вкладка "Журналы" предоставляет доступ к полным журналам для процессов Livy, Prelaunch и Driver.

• Используйте левую панель, чтобы выбрать тип журналов, которые вы хотите просмотреть.
• Поиск по ключевым словам или журналам фильтрации по состоянию, Notebook или Lakehouse (для сеансов высокой параллелизма).
• Щелкните "Скачать журнал", чтобы сохранить журналы локально.

Вкладка данных

Вкладка "Данные" позволяет копировать или скачивать сведения о входных и выходных файлах и просматривать свойства файла.

• Разверните или свернуть левую панель, чтобы перейти.
• Просмотр таких сведений, как имя файла, формат, размер, источник и путь.
• Скачайте файлы, пути копирования или просмотр свойств напрямую.

Вкладка "Моментальные снимки элементов"

Вкладка "Моментальные снимки элементов" позволяет просматривать элементы, связанные с приложением Spark, включая записные книжки, определения заданий Spark и конвейеры.

К моментальным снимкам относятся:

• Код записной книжки и значения параметров во время выполнения.
• Параметры и параметры определения задания Spark во время отправки.

Вкладка "Моментальные снимки элементов" позволяет просматривать и просматривать элементы, связанные с приложением Apache Spark, включая записные книжки, определение задания Spark и (или) конвейеры. На странице моментальных снимков элементов отображается моментальный снимок значений кода и параметров во время выполнения записных книжек. В нем также показан моментальный снимок всех параметров и параметров во время отправки определений заданий Spark. Если приложение Apache Spark активируется конвейером, вкладка связанного элемента также представляет соответствующий конвейер и действие Spark.

На странице моментальных снимков элементов можно:

• Просмотрите связанные элементы в иерархическом дереве.
• Используйте меню "Дополнительные действия " (...) для каждого элемента.
• Щелкните элемент моментального снимка, чтобы просмотреть его содержимое.
• Используйте панели навигации для трассировки навигации из выбранного элемента в корень.

Панель диагностики

Панель диагностики предоставляет рекомендации в режиме реального времени и анализ ошибок, созданных помощником По Spark. С помощью встроенных шаблонов Помощник по Spark помогает избежать распространенных ошибок, анализа сбоев и выявления их первопричин.

Связанный контент

После просмотра сведений о приложении Apache Spark вы также можете отслеживать ход выполнения задания Spark непосредственно под ячейкой Записной книжки. Дополнительные сведения см. в следующем разделе:

• Контекстное мониторинг и отладка записной книжки