Поделиться через

Spark Batch - Get Spark Batch Job

Служба:
Synapse
Версия API:
2020-12-01

Возвращает одно пакетное задание Spark.

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches/{batchId}
С использованием необязательных параметров: 
GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches/{batchId}?detailed={detailed}

Параметры URI

Имя В Обязательно Тип Описание
batchId
 path True

integer (int32)

Идентификатор пакетного задания.
endpoint
 path True

string

Конечная точка разработки рабочей области, например https://myworkspace.dev.azuresynapse.net.
livyApiVersion
 path True

string

Допустимая версия API для запроса.
sparkPoolName
 path True

string

Имя пула Spark.
detailed
 query

boolean

Необязательный параметр запроса, указывающий, возвращается ли подробный ответ за пределами обычного действия.

Ответы

Имя Тип Описание
200 OK

SparkBatchJob

Успех

Примеры

Gets a single spark batch job.

Образец запроса

GET myWorkspace.dev.azuresynapse.net/livyApi/versions/2020-12-01/sparkPools/mySparkPool/batches/123?detailed=True

Пример ответа

Код состояния:
200 
{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Определения

Имя Описание
LivyStates

Состояние пакетной службы
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobResultType

Результат пакетного задания Spark.
SparkBatchJobState
SparkErrorSource
SparkJobType

Тип задания.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

Перечисление

Состояние пакетной службы

Значение Описание
not_started
starting
idle
busy
shutting_down
error
dead
killed
success
running
recovering

PluginCurrentState

Перечисление
Значение Описание
Preparation
ResourceAcquisition
Queued
Submission
Monitoring
Cleanup
Ended

SchedulerCurrentState

Перечисление
Значение Описание
Queued
Scheduled
Ended

SparkBatchJob

Object
Имя Тип Описание
appId

string

Идентификатор приложения этого сеанса
appInfo

object

Подробные сведения о приложении.
artifactId

string

Идентификатор артефакта.
errorInfo

SparkServiceError[]

Сведения об ошибке.
id

integer (int32)

Идентификатор сеанса.
jobType

SparkJobType

Тип задания.
livyInfo

SparkBatchJobState

log

string[]

Строки журнала.
name

string

Имя пакета.
pluginInfo

SparkServicePlugin

Сведения о подключаемом модуле.
result

SparkBatchJobResultType

Результат пакетного задания Spark.
schedulerInfo

SparkScheduler

Сведения о планировщике.
sparkPoolName

string

Имя пула Spark.
state

LivyStates

Состояние пакетной службы
submitterId

string

Идентификатор отправителя.
submitterName

string

Имя отправителя.
tags

object

Теги.
workspaceName

string

Имя рабочей области.

SparkBatchJobResultType

Перечисление

Результат пакетного задания Spark.

Значение Описание
Uncertain
Succeeded
Failed
Cancelled

SparkBatchJobState

Object
Имя Тип Описание
currentState

string

Состояние задания Spark.
deadAt

string (date-time)

время, в котором впервые было замечено "мертвое" состояние ливи.
jobCreationRequest

SparkRequest

killedAt

string (date-time)

время, когда "убито" состояние ливи впервые было замечено.
notStartedAt

string (date-time)

время, когда "not_started" состояние livy было впервые замечено.
recoveringAt

string (date-time)

время, когда было впервые замечено "восстановление" состояния ливи.
runningAt

string (date-time)

время, когда "запущено" состояние livy впервые было замечено.
startingAt

string (date-time)

время, когда было впервые замечено "начальное" состояние livy.
successAt

string (date-time)

время, когда "успех" состояние livy было впервые замечено.

SparkErrorSource

Перечисление
Значение Описание
System
User
Unknown
Dependency

SparkJobType

Перечисление

Тип задания.

Значение Описание
SparkBatch
SparkSession

SparkRequest

Object
Имя Тип Описание
archives

string[]

args

string[]

className

string

conf

object

driverCores

integer (int32)

driverMemory

string

executorCores

integer (int32)

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer (int32)

pyFiles

string[]

SparkScheduler

Object
Имя Тип Описание
cancellationRequestedAt

string (date-time)

currentState

SchedulerCurrentState

endedAt

string (date-time)

scheduledAt

string (date-time)

submittedAt

string (date-time)

SparkServiceError

Object
Имя Тип Описание
errorCode

string

message

string

source

SparkErrorSource

SparkServicePlugin

Object
Имя Тип Описание
cleanupStartedAt

string (date-time)

currentState

PluginCurrentState

monitoringStartedAt

string (date-time)

preparationStartedAt

string (date-time)

resourceAcquisitionStartedAt

string (date-time)

submissionStartedAt

string (date-time)