Поделиться через

Spark Session - Get Spark Sessions

Служба:
Synapse
Версия API:
2020-12-01

Перечислите все сеансы Spark, выполняемые в определенном пуле Spark.

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/sessions
С использованием необязательных параметров: 
GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/sessions?from={from}&size={size}&detailed={detailed}

Параметры URI

Имя В Обязательно Тип Описание
endpoint
 path True

string

Конечная точка разработки рабочей области, например https://myworkspace.dev.azuresynapse.net.
livyApiVersion
 path True

string

Допустимая версия API для запроса.
sparkPoolName
 path True

string

Имя пула Spark.
detailed
 query

boolean

Необязательный параметр запроса, указывающий, возвращается ли подробный ответ за пределами обычного действия.
from
 query

integer (int32)

Необязательный параметр, указывающий, с какого индекса должен начинаться список.
size
 query

integer (int32)

Необязательный параметр, указывающий размер возвращаемого списка.

        By default it is 20 and that is the maximum.

Ответы

Имя Тип Описание
200 OK

SparkSessionCollection

Успех

Примеры

List all spark session jobs

Образец запроса

GET myWorkspace.dev.azuresynapse.net/livyApi/versions/2020-12-01/sparkPools/mySparkPool/sessions?from=0&size=2&detailed=True

Пример ответа

Код состояния:
200 
{
  "from": 0,
  "total": 2,
  "sessions": []
}

Определения

Имя Описание
LivyStates

Состояние пакетной службы
PluginCurrentState
SchedulerCurrentState
SparkErrorSource
SparkJobType

Тип задания.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin
SparkSession
SparkSessionCollection
SparkSessionResultType
SparkSessionState

LivyStates

Перечисление

Состояние пакетной службы

Значение Описание
not_started
starting
idle
busy
shutting_down
error
dead
killed
success
running
recovering

PluginCurrentState

Перечисление
Значение Описание
Preparation
ResourceAcquisition
Queued
Submission
Monitoring
Cleanup
Ended

SchedulerCurrentState

Перечисление
Значение Описание
Queued
Scheduled
Ended

SparkErrorSource

Перечисление
Значение Описание
System
User
Unknown
Dependency

SparkJobType

Перечисление

Тип задания.

Значение Описание
SparkBatch
SparkSession

SparkRequest

Object
Имя Тип Описание
archives

string[]

args

string[]

className

string

conf

object

driverCores

integer (int32)

driverMemory

string

executorCores

integer (int32)

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer (int32)

pyFiles

string[]

SparkScheduler

Object
Имя Тип Описание
cancellationRequestedAt

string (date-time)

currentState

SchedulerCurrentState

endedAt

string (date-time)

scheduledAt

string (date-time)

submittedAt

string (date-time)

SparkServiceError

Object
Имя Тип Описание
errorCode

string

message

string

source

SparkErrorSource

SparkServicePlugin

Object
Имя Тип Описание
cleanupStartedAt

string (date-time)

currentState

PluginCurrentState

monitoringStartedAt

string (date-time)

preparationStartedAt

string (date-time)

resourceAcquisitionStartedAt

string (date-time)

submissionStartedAt

string (date-time)

SparkSession

Object
Имя Тип Описание
appId

string

appInfo

object

artifactId

string

errorInfo

SparkServiceError[]

id

integer (int32)

jobType

SparkJobType

livyInfo

SparkSessionState

log

string[]

name

string

pluginInfo

SparkServicePlugin

result

SparkSessionResultType

schedulerInfo

SparkScheduler

sparkPoolName

string

state

LivyStates

Состояние сеанса.
submitterId

string

submitterName

string

tags

object

workspaceName

string

SparkSessionCollection

Object
Имя Тип Описание
from

integer (int32)

sessions

SparkSession[]

total

integer (int32)

SparkSessionResultType

Перечисление
Значение Описание
Uncertain
Succeeded
Failed
Cancelled

SparkSessionState

Object
Имя Тип Описание
busyAt

string (date-time)

currentState

string

deadAt

string (date-time)

errorAt

string (date-time)

idleAt

string (date-time)

jobCreationRequest

SparkRequest

killedAt

string (date-time)

notStartedAt

string (date-time)

recoveringAt

string (date-time)

shuttingDownAt

string (date-time)

startingAt

string (date-time)