Поделиться через

New-AzSynapseSparkPool

Модуль:
Az.Synapse Module

Создает пул Synapse Analytics Spark.

Синтаксис

CreateByNameAndEnableAutoScaleParameterSet (по умолчанию) 

New-AzSynapseSparkPool
    -WorkspaceName <String>
    -Name <String>
    -NodeSize <String>
    -AutoScaleMinNodeCount <Int32>
    -AutoScaleMaxNodeCount <Int32>
    -SparkVersion <String>
    [-ResourceGroupName <String>]
    [-Tag <Hashtable>]
    [-EnableIsolatedCompute]
    [-EnableAutoPause]
    [-AutoPauseDelayInMinute <Int32>]
    [-EnableDynamicExecutorAllocation]
    [-MinExecutorCount <Int32>]
    [-MaxExecutorCount <Int32>]
    [-SparkConfiguration <PSSparkConfigurationResource>]
    [-AsJob]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

CreateByNameAndDisableAutoScaleParameterSet 

New-AzSynapseSparkPool
    -WorkspaceName <String>
    -Name <String>
    -NodeCount <Int32>
    -NodeSize <String>
    -SparkVersion <String>
    [-ResourceGroupName <String>]
    [-Tag <Hashtable>]
    [-EnableIsolatedCompute]
    [-EnableAutoPause]
    [-AutoPauseDelayInMinute <Int32>]
    [-EnableDynamicExecutorAllocation]
    [-MinExecutorCount <Int32>]
    [-MaxExecutorCount <Int32>]
    [-SparkConfiguration <PSSparkConfigurationResource>]
    [-AsJob]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

CreateByParentObjectAndEnableAutoScaleParameterSet 

New-AzSynapseSparkPool
    -WorkspaceObject <PSSynapseWorkspace>
    -Name <String>
    -NodeSize <String>
    -AutoScaleMinNodeCount <Int32>
    -AutoScaleMaxNodeCount <Int32>
    -SparkVersion <String>
    [-Tag <Hashtable>]
    [-EnableIsolatedCompute]
    [-EnableAutoPause]
    [-AutoPauseDelayInMinute <Int32>]
    [-EnableDynamicExecutorAllocation]
    [-MinExecutorCount <Int32>]
    [-MaxExecutorCount <Int32>]
    [-SparkConfiguration <PSSparkConfigurationResource>]
    [-AsJob]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

CreateByParentObjectAndDisableAutoScaleParameterSet 

New-AzSynapseSparkPool
    -WorkspaceObject <PSSynapseWorkspace>
    -Name <String>
    -NodeCount <Int32>
    -NodeSize <String>
    -SparkVersion <String>
    [-Tag <Hashtable>]
    [-EnableIsolatedCompute]
    [-EnableAutoPause]
    [-AutoPauseDelayInMinute <Int32>]
    [-EnableDynamicExecutorAllocation]
    [-MinExecutorCount <Int32>]
    [-MaxExecutorCount <Int32>]
    [-SparkConfiguration <PSSparkConfigurationResource>]
    [-AsJob]
    [-DefaultProfile <IAzureContextContainer>]
    [-WhatIf]
    [-Confirm]
    [<CommonParameters>]

Описание

Командлет New-AzSynapseSparkPool создает пул Spark Azure Synapse Analytics.

Примеры

Пример 1

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small

Эта команда создает пул Spark Azure Synapse Analytics.

Пример 2

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small

Эта команда создает пул Spark Azure Synapse Analytics с поддержкой автоматического масштабирования.

Пример 3

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation -MinExecutorCount 1 -MaxExecutorCount 4  -NodeCount 10 -SparkVersion 2.4 -NodeSize Small

Эта команда создает пул Spark Azure Synapse Analytics с включенным динамическим выделением исполнителя и укажите минимальное количество исполнителей и максимальное число исполнителей.

Пример 4

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small -SparkConfiguration $config

Эта команда создает пул Spark Azure Synapse Analytics и задает конфигурацию Spark для пула Spark.

Пример 5

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small

Эта команда создает пул Spark Azure Synapse Analytics с помощью конвейера.

Пример 6

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small

Эта команда создает пул Spark Azure Synapse Analytics с поддержкой автоматического масштабирования с помощью конвейера.

Пример 7

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -EnableIsolatedCompute -NodeSize XXXLarge -NodeCount 3 -SparkVersion 2.4

Эта команда создает пул Spark Azure Synapse Analytics с изолированными вычислительными ресурсами, включенными через конвейер.

Параметры

-AsJob

Запуск командлета в фоновом режиме

Свойства параметра

Тип:SwitchParameter
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

(All)
Position:Named
Обязательно:False
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-AutoPauseDelayInMinute

Количество минут простоя. Этот параметр можно указать при включении автоматической приостановки. Значение по умолчанию будет [15], если оно не указано вручную.

Свойства параметра

Тип:Int32
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

(All)
Position:Named
Обязательно:False
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-AutoScaleMaxNodeCount

Максимальное количество узлов, выделяемых в указанном пуле Spark. Этот параметр необходимо указать при включении автоматического масштабирования.

Свойства параметра

Тип:Int32
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

CreateByNameAndEnableAutoScaleParameterSet
Position:Named
Обязательно:True
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False
CreateByParentObjectAndEnableAutoScaleParameterSet
Position:Named
Обязательно:True
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-AutoScaleMinNodeCount

Минимальное количество узлов, выделяемых в указанном пуле Spark. Этот параметр необходимо указать при включении автоматического масштабирования.

Свойства параметра

Тип:Int32
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

CreateByNameAndEnableAutoScaleParameterSet
Position:Named
Обязательно:True
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False
CreateByParentObjectAndEnableAutoScaleParameterSet
Position:Named
Обязательно:True
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-Confirm

Запрашивает подтверждение перед запуском cmdlet.

Свойства параметра

Тип:SwitchParameter
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False
Aliases:cf

Наборы параметров

(All)
Position:Named
Обязательно:False
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-DefaultProfile

Учетные данные, учетная запись, клиент и подписка, используемые для взаимодействия с Azure.

Свойства параметра

Тип:IAzureContextContainer
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False
Aliases:AzContext, AzureRmContext, AzureCredential

Наборы параметров

(All)
Position:Named
Обязательно:False
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-EnableAutoPause

Указывает, следует ли включить автоматическую приостановку.

Свойства параметра

Тип:SwitchParameter
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

(All)
Position:Named
Обязательно:False
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-EnableDynamicExecutorAllocation

Указывает, следует ли включить динамическое выделение исполнителя.

Свойства параметра

Тип:SwitchParameter
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

(All)
Position:Named
Обязательно:False
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-EnableIsolatedCompute

Параметр "Изоляция вычислений" доступен только с размером узла XXXLarge (80 vCPU / 504 ГБ). Включение этого параметра обеспечивает изоляцию вычислений Apache Spark для ненадежных служб. Изолированные затраты на вычислительные ресурсы совпадают с неизолированных виртуальных машин того же размера. Если вы планируете включить изолированные вычисления для пула Spark, убедитесь, что рабочая область Synapse создана в изолированном поддерживаемом регионе вычислений, см. в этом документе дополнительные сведения: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute

Свойства параметра

Тип:SwitchParameter
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

(All)
Position:Named
Обязательно:False
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-MaxExecutorCount

Максимальное количество исполнителей, выделяемых в указанном пуле Spark. Этот параметр можно указать при включении DynamicExecutorAllocation. Значение должно находиться в диапазоне от 1 (включительно) до maximumNodeCount (исключающее). Если оно не указано вручную, значение по умолчанию будет равно 2.

Свойства параметра

Тип:Int32
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

(All)
Position:Named
Обязательно:False
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-MinExecutorCount

Минимальное количество исполнителей, выделяемых в указанном пуле Spark. Этот параметр можно указать при включении DynamicExecutorAllocation. Значение должно находиться в диапазоне от 1 (включительно) до maxExecutors (монопольное). Если оно не указано вручную, значение по умолчанию будет равно 1.

Свойства параметра

Тип:Int32
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

(All)
Position:Named
Обязательно:False
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-Name

Имя пула Synapse Spark.

Свойства параметра

Тип:String
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False
Aliases:SparkPoolName

Наборы параметров

(All)
Position:Named
Обязательно:True
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-NodeCount

Количество узлов, выделенных в указанном пуле Spark.

Свойства параметра

Тип:Int32
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

CreateByNameAndDisableAutoScaleParameterSet
Position:Named
Обязательно:True
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False
CreateByParentObjectAndDisableAutoScaleParameterSet
Position:Named
Обязательно:True
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-NodeSize

Количество ядер и памяти, используемых для узлов, выделенных в указанном пуле Spark. Этот параметр должен быть указан при отключении автоматического масштабирования

Свойства параметра

Тип:String
Default value:None
Допустимые значения:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

(All)
Position:Named
Обязательно:True
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-ResourceGroupName

Имя группы ресурсов.

Свойства параметра

Тип:String
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

CreateByNameAndEnableAutoScaleParameterSet
Position:Named
Обязательно:False
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False
CreateByNameAndDisableAutoScaleParameterSet
Position:Named
Обязательно:False
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-SparkConfiguration

Конфигурация Apache Spark. При отправке задания в пул будут ссылаться свойства, указанные в выбранной конфигурации.

Свойства параметра

Тип:PSSparkConfigurationResource
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

(All)
Position:Named
Обязательно:False
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-SparkVersion

Версия Apache Spark. Допустимые значения: 2.4

Свойства параметра

Тип:String
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

(All)
Position:Named
Обязательно:True
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-Tag

Строковый словарь тегов, связанных с ресурсом.

Свойства параметра

Тип:Hashtable
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

(All)
Position:Named
Обязательно:False
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-WhatIf

Показывает, что произойдет, если командлет будет запущен. Командлет не запускается.

Свойства параметра

Тип:SwitchParameter
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False
Aliases:wi

Наборы параметров

(All)
Position:Named
Обязательно:False
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-WorkspaceName

Имя рабочей области Synapse.

Свойства параметра

Тип:String
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

CreateByNameAndEnableAutoScaleParameterSet
Position:Named
Обязательно:True
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False
CreateByNameAndDisableAutoScaleParameterSet
Position:Named
Обязательно:True
Значение из конвейера:False
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

-WorkspaceObject

Входной объект рабочей области, обычно передаваемый через конвейер.

Свойства параметра

Тип:PSSynapseWorkspace
Default value:None
Поддерживаются подстановочные знаки:False
DontShow:False

Наборы параметров

CreateByParentObjectAndEnableAutoScaleParameterSet
Position:Named
Обязательно:True
Значение из конвейера:True
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False
CreateByParentObjectAndDisableAutoScaleParameterSet
Position:Named
Обязательно:True
Значение из конвейера:True
Значение из конвейера по имени свойства:False
Значение из оставшихся аргументов:False

CommonParameters

Этот командлет поддерживает общие параметры: -Debug, -ErrorAction, -ErrorVariable, -InformationAction, -InformationVariable, -OutBuffer, -OutVariable, -PipelineVariable, -ProgressAction, -Verbose, -WarningAction и -WarningVariable. Дополнительные сведения см. в разделе about_CommonParameters.

Входные данные

PSSynapseWorkspace

Выходные данные

PSSynapseSparkPool