Поделиться через


az synapse spark pool

Управление пулами Spark.

Команды

Имя Описание Тип Состояние
az synapse spark pool create

Создание пула Spark.

Core GA
az synapse spark pool delete

Удаление пула Spark.

Core GA
az synapse spark pool list

Список всех пулов Spark.

Core GA
az synapse spark pool show

Получение пула Spark.

Core GA
az synapse spark pool update

Обновите пул Spark.

Core GA
az synapse spark pool wait

Поместите интерфейс командной строки в состояние ожидания до тех пор, пока не будет выполнено условие пула Spark.

Core GA

az synapse spark pool create

Создание пула Spark.

az synapse spark pool create --name
                             --node-count
                             --node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}
                             --resource-group
                             --spark-version
                             --workspace-name
                             [--delay]
                             [--enable-auto-pause {false, true}]
                             [--enable-auto-scale {false, true}]
                             [--enable-dynamic-exec {false, true}]
                             [--max-executors]
                             [--max-node-count]
                             [--min-executors]
                             [--min-node-count]
                             [--no-wait]
                             [--node-size-family {HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None}]
                             [--spark-config-file-path]
                             [--spark-events-folder]
                             [--spark-log-folder]
                             [--tags]

Примеры

Создание пула Spark.

az synapse spark pool create --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-version 2.4 --node-count 3 --node-size Medium --spark-config-file-path 'path/configfile.txt'

Обязательные параметры

--name -n

Имя пула Spark.

--node-count

Количество узлов.

Свойство Значение
Parameter group: Node Arguments
--node-size

Уровень вычислительной мощности каждого узла в пуле больших данных..

Свойство Значение
Parameter group: Node Arguments
Допустимые значения: Large, Medium, None, Small, XLarge, XXLarge, XXXLarge
--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

--spark-version

Поддерживаемая версия Spark теперь — 2.4.

Свойство Значение
Parameter group: Component Version Arguments
--workspace-name

Имя рабочей области.

Необязательные параметры

The following parameters are optional, but depending on the context, one or more might become required for the command to execute successfully.

--delay

Время задержки, единица которого составляет минуту.

Свойство Значение
Parameter group: AutoPause Arguments
--enable-auto-pause

Флаг включения автоматической приостановки.

Свойство Значение
Parameter group: AutoPause Arguments
Допустимые значения: false, true
--enable-auto-scale

Флаг включения автоматического масштабирования.

Свойство Значение
Parameter group: AutoScale Arguments
Допустимые значения: false, true
--enable-dynamic-exec

Указывает, включена ли динамическое выделение исполнителя.

Свойство Значение
Parameter group: DynamicExecutor Arguments
Допустимые значения: false, true
--max-executors

Максимальное количество исполнителей.

Свойство Значение
Parameter group: DynamicExecutor Arguments
--max-node-count

Максимальное число узлов.

Свойство Значение
Parameter group: AutoScale Arguments
--min-executors

Минимальное количество исполнителей.

Свойство Значение
Parameter group: DynamicExecutor Arguments
--min-node-count

Минимальное число узлов.

Свойство Значение
Parameter group: AutoScale Arguments
--no-wait

Не ожидать завершения длительной операции.

Свойство Значение
Default value: False
--node-size-family

Тип узлов, которые предоставляет пул больших данных.

Свойство Значение
Parameter group: Node Arguments
Default value: MemoryOptimized
Допустимые значения: HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None
--spark-config-file-path

Абсолютный путь к файлу конфигурации свойств пула Spark.

Свойство Значение
Parameter group: Environment Configuration Arguments
--spark-events-folder

Папка событий Spark.

Свойство Значение
Parameter group: Default Folder Arguments
Default value: /events
--spark-log-folder

Папка журнала Spark по умолчанию.

Свойство Значение
Parameter group: Default Folder Arguments
Default value: /logs
--tags

Теги, разделенные пробелами: key[=value] [key[=value] ...]. Используйте "" для очистки существующих тегов.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

Свойство Значение
Default value: False
--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

Свойство Значение
Default value: False
--output -o

Формат вывода.

Свойство Значение
Default value: json
Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Свойство Значение
Default value: False

az synapse spark pool delete

Удаление пула Spark.

az synapse spark pool delete [--ids]
                             [--name]
                             [--no-wait]
                             [--resource-group]
                             [--subscription]
                             [--workspace-name]
                             [--yes]

Примеры

Удаление пула Spark.

az synapse spark pool delete --name testpool --workspace-name testsynapseworkspace --resource-group rg

Необязательные параметры

The following parameters are optional, but depending on the context, one or more might become required for the command to execute successfully.

--ids

Один или несколько идентификаторов ресурсов (разделенных пробелами). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие параметры 'Resource Id'.

Свойство Значение
Parameter group: Resource Id Arguments
--name -n

Имя пула Spark.

Свойство Значение
Parameter group: Resource Id Arguments
--no-wait

Не ожидать завершения длительной операции.

Свойство Значение
Default value: False
--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

Свойство Значение
Parameter group: Resource Id Arguments
--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

Свойство Значение
Parameter group: Resource Id Arguments
--workspace-name

Имя рабочей области.

Свойство Значение
Parameter group: Resource Id Arguments
--yes -y

Не запрашивать подтверждение.

Свойство Значение
Default value: False
Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

Свойство Значение
Default value: False
--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

Свойство Значение
Default value: False
--output -o

Формат вывода.

Свойство Значение
Default value: json
Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Свойство Значение
Default value: False

az synapse spark pool list

Список всех пулов Spark.

az synapse spark pool list --resource-group
                           --workspace-name

Примеры

Список всех пулов Spark.

az synapse spark pool list --workspace-name testsynapseworkspace --resource-group rg

Обязательные параметры

--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

--workspace-name

Имя рабочей области.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

Свойство Значение
Default value: False
--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

Свойство Значение
Default value: False
--output -o

Формат вывода.

Свойство Значение
Default value: json
Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Свойство Значение
Default value: False

az synapse spark pool show

Получение пула Spark.

az synapse spark pool show [--ids]
                           [--name]
                           [--resource-group]
                           [--subscription]
                           [--workspace-name]

Примеры

Получение пула Spark.

az synapse spark pool show --name testpool --workspace-name testsynapseworkspace --resource-group rg

Необязательные параметры

The following parameters are optional, but depending on the context, one or more might become required for the command to execute successfully.

--ids

Один или несколько идентификаторов ресурсов (разделенных пробелами). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие параметры 'Resource Id'.

Свойство Значение
Parameter group: Resource Id Arguments
--name -n

Имя пула Spark.

Свойство Значение
Parameter group: Resource Id Arguments
--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

Свойство Значение
Parameter group: Resource Id Arguments
--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

Свойство Значение
Parameter group: Resource Id Arguments
--workspace-name

Имя рабочей области.

Свойство Значение
Parameter group: Resource Id Arguments
Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

Свойство Значение
Default value: False
--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

Свойство Значение
Default value: False
--output -o

Формат вывода.

Свойство Значение
Default value: json
Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Свойство Значение
Default value: False

az synapse spark pool update

Обновите пул Spark.

az synapse spark pool update [--delay]
                             [--enable-auto-pause {false, true}]
                             [--enable-auto-scale {false, true}]
                             [--enable-dynamic-exec {false, true}]
                             [--force {false, true}]
                             [--ids]
                             [--library-requirements]
                             [--max-executors]
                             [--max-node-count]
                             [--min-executors]
                             [--min-node-count]
                             [--name]
                             [--no-wait]
                             [--node-count]
                             [--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}]
                             [--package]
                             [--package-action {Add, Remove}]
                             [--resource-group]
                             [--spark-config-file-path]
                             [--subscription]
                             [--tags]
                             [--workspace-name]

Примеры

Обновите теги пула Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--tags key1=value1

Обновите конфигурацию автоматического масштабирования пула Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-auto-scale --min-node-count 3 --max-node-count 100

Обновите пользовательские библиотеки пула Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--package-action Add --package package1.jar package2.jar

Обновите файл конфигурации пула Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-config-file-path 'path/configfile.txt'

Обновите конфигурацию динамического выделения пула Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-dynamic-exec --min-executors 3 --max-executors 10

Необязательные параметры

The following parameters are optional, but depending on the context, one or more might become required for the command to execute successfully.

--delay

Время задержки, единица которого составляет минуту.

Свойство Значение
Parameter group: AutoPause Arguments
--enable-auto-pause

Флаг включения автоматической приостановки.

Свойство Значение
Parameter group: AutoPause Arguments
Допустимые значения: false, true
--enable-auto-scale

Флаг включения автоматического масштабирования.

Свойство Значение
Parameter group: AutoScale Arguments
Допустимые значения: false, true
--enable-dynamic-exec

Указывает, включена ли динамическое выделение исполнителя.

Свойство Значение
Parameter group: DynamicExecutor Arguments
Допустимые значения: false, true
--force

Флаг принудительной операции.

Свойство Значение
Default value: False
Допустимые значения: false, true
--ids

Один или несколько идентификаторов ресурсов (разделенных пробелами). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие параметры 'Resource Id'.

Свойство Значение
Parameter group: Resource Id Arguments
--library-requirements

Файл требований к библиотеке.

Свойство Значение
Parameter group: Environment Configuration Arguments
--max-executors

Максимальное количество исполнителей.

Свойство Значение
Parameter group: DynamicExecutor Arguments
--max-node-count

Максимальное число узлов.

Свойство Значение
Parameter group: AutoScale Arguments
--min-executors

Минимальное количество исполнителей.

Свойство Значение
Parameter group: DynamicExecutor Arguments
--min-node-count

Минимальное число узлов.

Свойство Значение
Parameter group: AutoScale Arguments
--name -n

Имя пула Spark.

Свойство Значение
Parameter group: Resource Id Arguments
--no-wait

Не ожидать завершения длительной операции.

Свойство Значение
Default value: False
--node-count

Количество узлов.

Свойство Значение
Parameter group: Node Arguments
--node-size

Уровень вычислительной мощности каждого узла в пуле больших данных..

Свойство Значение
Parameter group: Node Arguments
Допустимые значения: Large, Medium, None, Small, XLarge, XXLarge, XXXLarge
--package

Список имен пакетов рабочей области.

Свойство Значение
Parameter group: Custom Libraries Arguments
--package-action

Действие пакета необходимо указать при добавлении или удалении пакета рабочей области из пула Apache Spark.

Свойство Значение
Parameter group: Custom Libraries Arguments
Допустимые значения: Add, Remove
--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

Свойство Значение
Parameter group: Resource Id Arguments
--spark-config-file-path

Абсолютный путь к файлу конфигурации свойств пула Spark.

Свойство Значение
Parameter group: Environment Configuration Arguments
--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

Свойство Значение
Parameter group: Resource Id Arguments
--tags

Теги, разделенные пробелами: key[=value] [key[=value] ...]. Используйте "" для очистки существующих тегов.

--workspace-name

Имя рабочей области.

Свойство Значение
Parameter group: Resource Id Arguments
Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

Свойство Значение
Default value: False
--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

Свойство Значение
Default value: False
--output -o

Формат вывода.

Свойство Значение
Default value: json
Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Свойство Значение
Default value: False

az synapse spark pool wait

Поместите интерфейс командной строки в состояние ожидания до тех пор, пока не будет выполнено условие пула Spark.

az synapse spark pool wait --big-data-pool-name
                           [--created]
                           [--custom]
                           [--deleted]
                           [--exists]
                           [--ids]
                           [--interval]
                           [--resource-group]
                           [--subscription]
                           [--timeout]
                           [--updated]
                           [--workspace-name]

Обязательные параметры

--big-data-pool-name

Имя пула больших данных.

Необязательные параметры

The following parameters are optional, but depending on the context, one or more might become required for the command to execute successfully.

--created

Подождите, пока не будет создано с помощью provisioningState по адресу "Успешно".

Свойство Значение
Parameter group: Wait Condition Arguments
Default value: False
--custom

Подождите, пока условие не будет удовлетворено пользовательским запросом JMESPath. Например, provisioningState!='InProgress', instanceView.statuses[?code='PowerState/running'].

Свойство Значение
Parameter group: Wait Condition Arguments
--deleted

Дождитесь удаления.

Свойство Значение
Parameter group: Wait Condition Arguments
Default value: False
--exists

Подождите, пока ресурс не существует.

Свойство Значение
Parameter group: Wait Condition Arguments
Default value: False
--ids

Один или несколько идентификаторов ресурсов (разделенных пробелами). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие параметры 'Resource Id'.

Свойство Значение
Parameter group: Resource Id Arguments
--interval

Интервал опроса в секундах.

Свойство Значение
Parameter group: Wait Condition Arguments
Default value: 30
--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

Свойство Значение
Parameter group: Resource Id Arguments
--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

Свойство Значение
Parameter group: Resource Id Arguments
--timeout

Максимальное ожидание в секундах.

Свойство Значение
Parameter group: Wait Condition Arguments
Default value: 3600
--updated

Подождите, пока не будет обновлено с помощью provisioningState по адресу "Успешно".

Свойство Значение
Parameter group: Wait Condition Arguments
Default value: False
--workspace-name

Имя рабочей области.

Свойство Значение
Parameter group: Resource Id Arguments
Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

Свойство Значение
Default value: False
--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

Свойство Значение
Default value: False
--output -o

Формат вывода.

Свойство Значение
Default value: json
Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

Свойство Значение
Default value: False