Кластеры Microsoft.HDInsight 2015-03-01-preview

Определение ресурсов Bicep

Тип ресурсов кластеров можно развернуть с помощью операций, предназначенных для следующих операций:

• группы ресурсов . См. команды развертывания группы ресурсов

Список измененных свойств в каждой версии API см. в журнала изменений.

Формат ресурса

Чтобы создать ресурс Microsoft.HDInsight/clusters, добавьте следующий Bicep в шаблон.

resource symbolicname 'Microsoft.HDInsight/clusters@2015-03-01-preview' = {
  identity: {
    type: 'string'
    userAssignedIdentities: {
      {customized property}: {
        tenantId: 'string'
      }
    }
  }
  location: 'string'
  name: 'string'
  properties: {
    clusterDefinition: {
      blueprint: 'string'
      componentVersion: {
        {customized property}: 'string'
      }
      configurations: any(...)
      kind: 'string'
    }
    clusterVersion: 'string'
    computeIsolationProperties: {
      enableComputeIsolation: bool
      hostSku: 'string'
    }
    computeProfile: {
      roles: [
        {
          autoscale: {
            capacity: {
              maxInstanceCount: int
              minInstanceCount: int
            }
            recurrence: {
              schedule: [
                {
                  days: [
                    'string'
                  ]
                  timeAndCapacity: {
                    maxInstanceCount: int
                    minInstanceCount: int
                    time: 'string'
                  }
                }
              ]
              timeZone: 'string'
            }
          }
          dataDisksGroups: [
            {
              disksPerNode: int
            }
          ]
          encryptDataDisks: bool
          hardwareProfile: {
            vmSize: 'string'
          }
          minInstanceCount: int
          name: 'string'
          osProfile: {
            linuxOperatingSystemProfile: {
              password: 'string'
              sshProfile: {
                publicKeys: [
                  {
                    certificateData: 'string'
                  }
                ]
              }
              username: 'string'
            }
          }
          scriptActions: [
            {
              name: 'string'
              parameters: 'string'
              uri: 'string'
            }
          ]
          targetInstanceCount: int
          virtualNetworkProfile: {
            id: 'string'
            subnet: 'string'
          }
          VMGroupName: 'string'
        }
      ]
    }
    diskEncryptionProperties: {
      encryptionAlgorithm: 'string'
      encryptionAtHost: bool
      keyName: 'string'
      keyVersion: 'string'
      msiResourceId: 'string'
      vaultUri: 'string'
    }
    encryptionInTransitProperties: {
      isEncryptionInTransitEnabled: bool
    }
    kafkaRestProperties: {
      clientGroupInfo: {
        groupId: 'string'
        groupName: 'string'
      }
      configurationOverride: {
        {customized property}: 'string'
      }
    }
    minSupportedTlsVersion: 'string'
    networkProperties: {
      privateLink: 'string'
      resourceProviderConnection: 'string'
    }
    osType: 'string'
    securityProfile: {
      aaddsResourceId: 'string'
      clusterUsersGroupDNs: [
        'string'
      ]
      directoryType: 'ActiveDirectory'
      domain: 'string'
      domainUsername: 'string'
      domainUserPassword: 'string'
      ldapsUrls: [
        'string'
      ]
      msiResourceId: 'string'
      organizationalUnitDN: 'string'
    }
    storageProfile: {
      storageaccounts: [
        {
          container: 'string'
          fileshare: 'string'
          fileSystem: 'string'
          isDefault: bool
          key: 'string'
          msiResourceId: 'string'
          name: 'string'
          resourceId: 'string'
          saskey: 'string'
        }
      ]
    }
    tier: 'string'
  }
  tags: {
    {customized property}: 'string'
  }
}

Значения свойств

Microsoft.HDInsight/clusters

Автомасштабирование

АвтомасштабированиеCapacity

АвтомасштабированиеRecurrence

АвтомасштабированиеSchedule

AutoscaleTimeAndCapacity

Информация о клиентской группе

ClusterCreateParametersExtendedTags

ClusterCreatePropertiesOrClusterGetProperties

Определение кластера

ClusterDefinitionComponentVersion (ClusterDefinitionComponentVersion)

ClusterIdentity (ClusterIdentity)

ClusterIdentityUserAssignedIdentities

КомпонентыC51Ht8SchemasClusteridentityPropertiesUserassignedidentitiesAdditionalproperties

Свойства ComputeIsolationProperties

Профиль вычислений

DataDisksGroups

Свойства шифрования диска

EncryptionInTransitProperties

Профиль оборудования

KafkaRestСвойства

KafkaRestPropertiesConfigurationOverride

Профиль операционной системы Linux

Свойства сети

ОсПрофиль

Роль

Действие скрипта

Профиль безопасности

Профиль sshProfile

SshPublicKey (SshPublicKey)

учетная запись хранения

Профиль хранилища

Профиль VirtualNetworkProfile

Примеры использования

Примеры Bicep

Простой пример развертывания кластера HDInsight.

param resourceName string = 'acctest0001'
param location string = 'westeurope'
@description('The username for the HDInsight cluster virtual machines')
param vmUsername string
@secure()
@description('The password for the HDInsight cluster virtual machines')
param vmPassword string
@secure()
@description('The REST API credential password for the HDInsight cluster gateway')
param restCredentialPassword string

resource blobService 'Microsoft.Storage/storageAccounts/blobServices@2022-09-01' existing = {
  parent: storageAccount
  name: 'default'
}

resource cluster 'Microsoft.HDInsight/clusters@2018-06-01-preview' = {
  name: resourceName
  location: location
  properties: {
    clusterDefinition: {
      componentVersion: {
        Spark: '2.4'
      }
      configurations: {
        gateway: {
          'restAuthCredential.isEnabled': true
          'restAuthCredential.password': restCredentialPassword
          'restAuthCredential.username': 'acctestusrgw'
        }
      }
      kind: 'Spark'
    }
    clusterVersion: '4.0.3000.1'
    computeProfile: {
      roles: [
        {
          hardwareProfile: {
            vmSize: 'standard_a4_v2'
          }
          name: 'headnode'
          osProfile: {
            linuxOperatingSystemProfile: {
              password: vmPassword
              username: vmUsername
            }
          }
          targetInstanceCount: 2
        }
        {
          hardwareProfile: {
            vmSize: 'standard_a4_v2'
          }
          name: 'workernode'
          osProfile: {
            linuxOperatingSystemProfile: {
              password: vmPassword
              username: vmUsername
            }
          }
          targetInstanceCount: 3
        }
        {
          hardwareProfile: {
            vmSize: 'standard_a2_v2'
          }
          name: 'zookeepernode'
          osProfile: {
            linuxOperatingSystemProfile: {
              password: vmPassword
              username: vmUsername
            }
          }
          targetInstanceCount: 3
        }
      ]
    }
    encryptionInTransitProperties: {
      isEncryptionInTransitEnabled: false
    }
    minSupportedTlsVersion: '1.2'
    osType: 'Linux'
    storageProfile: {
      storageaccounts: [
        {
          container: container.name
          isDefault: true
          key: storageAccount.listKeys().keys[0].value
          name: '${storageAccount.name}.blob.core.windows.net'
          resourceId: storageAccount.id
        }
      ]
    }
    tier: 'standard'
  }
}

resource storageAccount 'Microsoft.Storage/storageAccounts@2021-09-01' = {
  name: resourceName
  location: location
  kind: 'StorageV2'
  properties: {
    accessTier: 'Hot'
    allowBlobPublicAccess: true
    allowCrossTenantReplication: true
    allowSharedKeyAccess: true
    defaultToOAuthAuthentication: false
    encryption: {
      keySource: 'Microsoft.Storage'
      services: {
        queue: {
          keyType: 'Service'
        }
        table: {
          keyType: 'Service'
        }
      }
    }
    isHnsEnabled: false
    isNfsV3Enabled: false
    isSftpEnabled: false
    minimumTlsVersion: 'TLS1_2'
    networkAcls: {
      defaultAction: 'Allow'
    }
    publicNetworkAccess: 'Enabled'
    supportsHttpsTrafficOnly: true
  }
  sku: {
    name: 'Standard_LRS'
  }
}

resource container 'Microsoft.Storage/storageAccounts/blobServices/containers@2022-09-01' = {
  parent: blobService
  name: resourceName
  properties: {
    metadata: {
      key: 'value'
    }
  }
}

Примеры быстрого запуска Azure

Следующие шаблоны быстрого запуска Azure содержат примеры Bicep для развертывания этого типа ресурса.

Определение ресурса шаблона ARM

Тип ресурсов кластеров можно развернуть с помощью операций, предназначенных для следующих операций:

• группы ресурсов . См. команды развертывания группы ресурсов

Список измененных свойств в каждой версии API см. в журнала изменений.

Формат ресурса

Чтобы создать ресурс Microsoft.HDInsight/clusters, добавьте следующий код JSON в шаблон.

{
  "type": "Microsoft.HDInsight/clusters",
  "apiVersion": "2015-03-01-preview",
  "name": "string",
  "identity": {
    "type": "string",
    "userAssignedIdentities": {
      "{customized property}": {
        "tenantId": "string"
      }
    }
  },
  "location": "string",
  "properties": {
    "clusterDefinition": {
      "blueprint": "string",
      "componentVersion": {
        "{customized property}": "string"
      },
      "configurations": {},
      "kind": "string"
    },
    "clusterVersion": "string",
    "computeIsolationProperties": {
      "enableComputeIsolation": "bool",
      "hostSku": "string"
    },
    "computeProfile": {
      "roles": [
        {
          "autoscale": {
            "capacity": {
              "maxInstanceCount": "int",
              "minInstanceCount": "int"
            },
            "recurrence": {
              "schedule": [
                {
                  "days": [ "string" ],
                  "timeAndCapacity": {
                    "maxInstanceCount": "int",
                    "minInstanceCount": "int",
                    "time": "string"
                  }
                }
              ],
              "timeZone": "string"
            }
          },
          "dataDisksGroups": [
            {
              "disksPerNode": "int"
            }
          ],
          "encryptDataDisks": "bool",
          "hardwareProfile": {
            "vmSize": "string"
          },
          "minInstanceCount": "int",
          "name": "string",
          "osProfile": {
            "linuxOperatingSystemProfile": {
              "password": "string",
              "sshProfile": {
                "publicKeys": [
                  {
                    "certificateData": "string"
                  }
                ]
              },
              "username": "string"
            }
          },
          "scriptActions": [
            {
              "name": "string",
              "parameters": "string",
              "uri": "string"
            }
          ],
          "targetInstanceCount": "int",
          "virtualNetworkProfile": {
            "id": "string",
            "subnet": "string"
          },
          "VMGroupName": "string"
        }
      ]
    },
    "diskEncryptionProperties": {
      "encryptionAlgorithm": "string",
      "encryptionAtHost": "bool",
      "keyName": "string",
      "keyVersion": "string",
      "msiResourceId": "string",
      "vaultUri": "string"
    },
    "encryptionInTransitProperties": {
      "isEncryptionInTransitEnabled": "bool"
    },
    "kafkaRestProperties": {
      "clientGroupInfo": {
        "groupId": "string",
        "groupName": "string"
      },
      "configurationOverride": {
        "{customized property}": "string"
      }
    },
    "minSupportedTlsVersion": "string",
    "networkProperties": {
      "privateLink": "string",
      "resourceProviderConnection": "string"
    },
    "osType": "string",
    "securityProfile": {
      "aaddsResourceId": "string",
      "clusterUsersGroupDNs": [ "string" ],
      "directoryType": "ActiveDirectory",
      "domain": "string",
      "domainUsername": "string",
      "domainUserPassword": "string",
      "ldapsUrls": [ "string" ],
      "msiResourceId": "string",
      "organizationalUnitDN": "string"
    },
    "storageProfile": {
      "storageaccounts": [
        {
          "container": "string",
          "fileshare": "string",
          "fileSystem": "string",
          "isDefault": "bool",
          "key": "string",
          "msiResourceId": "string",
          "name": "string",
          "resourceId": "string",
          "saskey": "string"
        }
      ]
    },
    "tier": "string"
  },
  "tags": {
    "{customized property}": "string"
  }
}

Значения свойств

Microsoft.HDInsight/clusters

Автомасштабирование

АвтомасштабированиеCapacity

АвтомасштабированиеRecurrence

АвтомасштабированиеSchedule

AutoscaleTimeAndCapacity

Информация о клиентской группе

ClusterCreateParametersExtendedTags

ClusterCreatePropertiesOrClusterGetProperties

Определение кластера

ClusterDefinitionComponentVersion (ClusterDefinitionComponentVersion)

ClusterIdentity (ClusterIdentity)

ClusterIdentityUserAssignedIdentities

КомпонентыC51Ht8SchemasClusteridentityPropertiesUserassignedidentitiesAdditionalproperties

Свойства ComputeIsolationProperties

Профиль вычислений

DataDisksGroups

Свойства шифрования диска

EncryptionInTransitProperties

Профиль оборудования

KafkaRestСвойства

KafkaRestPropertiesConfigurationOverride

Профиль операционной системы Linux

Свойства сети

ОсПрофиль

Роль

Действие скрипта

Профиль безопасности

Профиль sshProfile

SshPublicKey (SshPublicKey)

учетная запись хранения

Профиль хранилища

Профиль VirtualNetworkProfile

Примеры использования

Шаблоны быстрого запуска Azure

Следующие шаблоны быстрого запуска Azure развернуть этот тип ресурса.

Шаблон	Описание
Создание кластера HDInsight Linux и запуск действия скрипта развертывание	Шаблон создает кластер HDInsight Linux в виртуальной сети, а затем выполняет пользовательское действие скрипта на каждом узле и задает var среды.
Создает кластер HDInsight под управлением ADAM развертывание	Создает кластер LINUX HDInsight под управлением платформы анализа genomics ADAM
Создает кластер HDInsight под управлением Apache Spark 1.4.1 развертывание	Создает кластер LINUX HDInsight под управлением Apache Spark 1.4.1.
Развертывание кластера HDInsight и базы данных SQL развертывание	Этот шаблон позволяет создать кластер HDInsight и базу данных SQL для тестирования Sqoop.
Развернуть кластер HDInsight с пограничным узлом развертывание	Этот шаблон позволяет создать кластер HDInsight под управлением Linux с пустым граничным узлом. Дополнительные сведения см. в статье /azure/hdinsight/hdinsight-apps-use-edge-node
Развертывание кластера HBase под управлением Linux в HDInsight развертывание	Этот шаблон позволяет создать кластер HBase под управлением Linux в Azure HDInsight.
развертывание безопасной виртуальной сети и кластера HDInsight в виртуальной сети развертывание	Этот шаблон позволяет создать виртуальную сеть Azure и кластер HDInsight Hadoop под управлением Linux в виртуальной сети.
Развертывание кластера Spark в виртуальной сети развертывание	Этот шаблон позволяет создать виртуальную сеть Azure и кластер HDInsight Spark в виртуальной сети.
Развертывание кластера Spark в Azure HDInsight развертывание	Этот шаблон позволяет создать кластер Spark в Azure HDInsight.
Развертывание виртуальной сети и кластера HBase в виртуальной сети развертывание	Этот шаблон позволяет создать виртуальную сеть Azure и кластер HDInsight HBase под управлением Linux в виртуальной сети.
развертывание виртуальной сети Azure и двух кластеров HBase в виртуальной сети развертывание	Этот шаблон позволяет настроить среду HBase с двумя кластерами HBase в виртуальной сети для настройки репликации HBase.
Развертывание межативного кластера Hive в HDInsight развертывание	Этот шаблон позволяет создать межативный кластер Hive (LLAP) в HDInsight и зависимой учетной записи хранения Azure. Метод проверки подлинности SSH для кластера — это имя пользователя и пароль. Шаблон с помощью проверки подлинности открытого ключа SSH см. в статье /samples/azure/azure-quickstart-templates/hdinsight-linux-ssh-publickey
Развертывание кластера HDInsight R-server развертывание	Этот шаблон позволяет создать кластер HDInsight под управлением Linux с R Server для HDInsight. Этот шаблон также создает учетную запись хранения Azure. Метод проверки подлинности SSH для кластера — имя пользователя и пароль.
развертывание репликации HBase с двумя виртуальными сетями в одном регионе развертывание	Этот шаблон позволяет настроить среду HBaseN с двумя кластерами HBase в двух виртуальных сетями в одном регионе для настройки репликации HBase.
Развертывание кластера HDInsight и узла реестра схем Confluent развертывание	Этот шаблон позволяет создать кластер HDInsight под управлением Linux с пограничным узлом реестра схем. Дополнительные сведения см. в статье /azure/hdinsight/hdinsight-apps-use-edge-node
Развертывание кластера HDInsight с существующим хранилищем по умолчанию развертывание	Этот шаблон позволяет создать кластер Hadoop в HDInsight. Кластер использует существующую учетную запись хранения в качестве расположения хранилища по умолчанию.
Развертывание кластера HDInsight с существующими связанными хранилища развертывание	Этот шаблон позволяет создать кластер Hadoop в HDInsight и зависимой учетной записи хранения по умолчанию. Шаблон также связывает существующую учетную запись хранения. Связанная учетная запись хранения обычно содержит бизнес-данные.
Развертывание кластера HDInsight с помощью паролей хранилища и SSH развертывание	Этот шаблон позволяет создать кластер Hadoop под управлением Linux в HDInsight и зависимой учетной записи хранения Azure. Метод проверки подлинности SSH для кластера — это имя пользователя и пароль. Шаблон с помощью проверки подлинности открытого ключа SSH см. в разделе /samples/azure/azure-quickstart-templates/hdinsight-linux-ssh-publickey/
Развертывание HDInsight в Linux (w/Azure Storage, ключ SSH) развертывание	Этот шаблон позволяет создать кластер HDInsight под управлением Linux. Этот шаблон также создает учетную запись хранения Azure. Метод проверки подлинности SSH для кластера — имя пользователя или открытый ключ.
Развертывание HDInsight на новых Data Lake Store и Storage развертывание	Этот шаблон позволяет развернуть новый кластер HDInsight Linux с новыми учетными записями Data Lake Store и хранилища.
Развертывание Kafka в HDInsight в виртуальной сети развертывание	Этот шаблон позволяет создать виртуальную сеть Azure и Kafka в кластере HDInsight в виртуальной сети. Метод проверки подлинности SSH для кластера — это имя пользователя и пароль. Шаблон с помощью проверки подлинности открытого ключа SSH см. в разделе /samples/azure/azure-quickstart-templates/hdinsight-linux-ssh-publickey/
Развертывание кластера HBase Linux с расширенными записью в HDInsight развертывание	Этот шаблон позволяет создать кластер HBase под управлением Linux с расширенными записью в Azure HDInsight.
HDInsight (Linux в существующем хранилище метаданных Hive, SSH, vnet) развертывание	Этот шаблон позволяет создать кластер HDInsight под управлением Linux в существующем хранилище метаданных Hive и виртуальной сети. Метод проверки подлинности SSH для кластера — имя пользователя и пароль.
кластер HDInsight с tls версии 1.2 или более поздней развертывание	Этот шаблон позволяет создать кластер HDInsight с протоколом TLS, примененным к версии 1.2 или более поздней версии.
HDInsight с пользовательскими базами данных хранилища метаданных Ambari и Hive в виртуальной сети развертывание	Этот шаблон позволяет создать кластер HDInsight в существующей виртуальной сети с новой базой данных SQL, которая служит как пользовательской базой данных Ambari DB, так и хранилищем метаданных Hive. У вас должна быть существующая учетная запись SQL, учетная запись хранения и виртуальная сеть.
HDInsight с поддержкой автомасштабирования на основе нагрузки развертывание	Этот шаблон позволяет создать кластер HDInsight Spark с включенным автомасштабированием на основе нагрузки.
HDInsight с включенным автомасштабированием по расписанию развертывание	Этот шаблон позволяет создать кластер HDInsight Spark с включенным автомасштабированием на основе расписаний.

Определение ресурса Terraform (поставщик AzAPI)

Тип ресурсов кластеров можно развернуть с помощью операций, предназначенных для следующих операций:

• Группы ресурсов

Список измененных свойств в каждой версии API см. в журнала изменений.

Формат ресурса

Чтобы создать ресурс Microsoft.HDInsight/clusters, добавьте следующий объект Terraform в шаблон.

resource "azapi_resource" "symbolicname" {
  type = "Microsoft.HDInsight/clusters@2015-03-01-preview"
  name = "string"
  parent_id = "string"
  identity {
    type = "string"
    identity_ids = [
      "string"
    ]
  }
  location = "string"
  tags = {
    {customized property} = "string"
  }
  body = {
    properties = {
      clusterDefinition = {
        blueprint = "string"
        componentVersion = {
          {customized property} = "string"
        }
        configurations = ?
        kind = "string"
      }
      clusterVersion = "string"
      computeIsolationProperties = {
        enableComputeIsolation = bool
        hostSku = "string"
      }
      computeProfile = {
        roles = [
          {
            autoscale = {
              capacity = {
                maxInstanceCount = int
                minInstanceCount = int
              }
              recurrence = {
                schedule = [
                  {
                    days = [
                      "string"
                    ]
                    timeAndCapacity = {
                      maxInstanceCount = int
                      minInstanceCount = int
                      time = "string"
                    }
                  }
                ]
                timeZone = "string"
              }
            }
            dataDisksGroups = [
              {
                disksPerNode = int
              }
            ]
            encryptDataDisks = bool
            hardwareProfile = {
              vmSize = "string"
            }
            minInstanceCount = int
            name = "string"
            osProfile = {
              linuxOperatingSystemProfile = {
                password = "string"
                sshProfile = {
                  publicKeys = [
                    {
                      certificateData = "string"
                    }
                  ]
                }
                username = "string"
              }
            }
            scriptActions = [
              {
                name = "string"
                parameters = "string"
                uri = "string"
              }
            ]
            targetInstanceCount = int
            virtualNetworkProfile = {
              id = "string"
              subnet = "string"
            }
            VMGroupName = "string"
          }
        ]
      }
      diskEncryptionProperties = {
        encryptionAlgorithm = "string"
        encryptionAtHost = bool
        keyName = "string"
        keyVersion = "string"
        msiResourceId = "string"
        vaultUri = "string"
      }
      encryptionInTransitProperties = {
        isEncryptionInTransitEnabled = bool
      }
      kafkaRestProperties = {
        clientGroupInfo = {
          groupId = "string"
          groupName = "string"
        }
        configurationOverride = {
          {customized property} = "string"
        }
      }
      minSupportedTlsVersion = "string"
      networkProperties = {
        privateLink = "string"
        resourceProviderConnection = "string"
      }
      osType = "string"
      securityProfile = {
        aaddsResourceId = "string"
        clusterUsersGroupDNs = [
          "string"
        ]
        directoryType = "ActiveDirectory"
        domain = "string"
        domainUsername = "string"
        domainUserPassword = "string"
        ldapsUrls = [
          "string"
        ]
        msiResourceId = "string"
        organizationalUnitDN = "string"
      }
      storageProfile = {
        storageaccounts = [
          {
            container = "string"
            fileshare = "string"
            fileSystem = "string"
            isDefault = bool
            key = "string"
            msiResourceId = "string"
            name = "string"
            resourceId = "string"
            saskey = "string"
          }
        ]
      }
      tier = "string"
    }
  }
}

Значения свойств

Microsoft.HDInsight/clusters

Автомасштабирование

АвтомасштабированиеCapacity

АвтомасштабированиеRecurrence

АвтомасштабированиеSchedule

AutoscaleTimeAndCapacity

Информация о клиентской группе

ClusterCreateParametersExtendedTags

ClusterCreatePropertiesOrClusterGetProperties

Определение кластера

ClusterDefinitionComponentVersion (ClusterDefinitionComponentVersion)

ClusterIdentity (ClusterIdentity)

ClusterIdentityUserAssignedIdentities

КомпонентыC51Ht8SchemasClusteridentityPropertiesUserassignedidentitiesAdditionalproperties

Свойства ComputeIsolationProperties

Профиль вычислений

DataDisksGroups

Свойства шифрования диска

EncryptionInTransitProperties

Профиль оборудования

KafkaRestСвойства

KafkaRestPropertiesConfigurationOverride

Профиль операционной системы Linux

Свойства сети

ОсПрофиль

Роль

Действие скрипта

Профиль безопасности

Профиль sshProfile

SshPublicKey (SshPublicKey)

учетная запись хранения

Профиль хранилища

Профиль VirtualNetworkProfile

Примеры использования

Примеры Terraform

Простой пример развертывания кластера HDInsight.

terraform {
  required_providers {
    azapi = {
      source = "Azure/azapi"
    }
  }
}

provider "azapi" {
  skip_provider_registration = false
}

variable "resource_name" {
  type    = string
  default = "acctest0001"
}

variable "location" {
  type    = string
  default = "westeurope"
}

variable "vm_username" {
  type        = string
  description = "The username for the HDInsight cluster virtual machines"
}

variable "vm_password" {
  type        = string
  description = "The password for the HDInsight cluster virtual machines"
  sensitive   = true
}

variable "rest_credential_password" {
  type        = string
  description = "The REST API credential password for the HDInsight cluster gateway"
  sensitive   = true
}

resource "azapi_resource" "resourceGroup" {
  type     = "Microsoft.Resources/resourceGroups@2020-06-01"
  name     = var.resource_name
  location = var.location
}

resource "azapi_resource" "storageAccount" {
  type      = "Microsoft.Storage/storageAccounts@2021-09-01"
  parent_id = azapi_resource.resourceGroup.id
  name      = var.resource_name
  location  = var.location
  body = {
    kind = "StorageV2"
    properties = {
      accessTier                   = "Hot"
      allowBlobPublicAccess        = true
      allowCrossTenantReplication  = true
      allowSharedKeyAccess         = true
      defaultToOAuthAuthentication = false
      encryption = {
        keySource = "Microsoft.Storage"
        services = {
          queue = {
            keyType = "Service"
          }
          table = {
            keyType = "Service"
          }
        }
      }
      isHnsEnabled      = false
      isNfsV3Enabled    = false
      isSftpEnabled     = false
      minimumTlsVersion = "TLS1_2"
      networkAcls = {
        defaultAction = "Allow"
      }
      publicNetworkAccess      = "Enabled"
      supportsHttpsTrafficOnly = true
    }
    sku = {
      name = "Standard_LRS"
    }
  }
  schema_validation_enabled = false
  response_export_values    = ["*"]
}

data "azapi_resource_action" "listKeys" {
  type                   = "Microsoft.Storage/storageAccounts@2021-09-01"
  resource_id            = azapi_resource.storageAccount.id
  action                 = "listKeys"
  response_export_values = ["*"]
}

data "azapi_resource" "blobService" {
  type      = "Microsoft.Storage/storageAccounts/blobServices@2022-09-01"
  parent_id = azapi_resource.storageAccount.id
  name      = "default"
}

resource "azapi_resource" "container" {
  type      = "Microsoft.Storage/storageAccounts/blobServices/containers@2022-09-01"
  name      = var.resource_name
  parent_id = data.azapi_resource.blobService.id
  body = {
    properties = {
      metadata = {
        key = "value"
      }
    }
  }
  response_export_values = ["*"]
}

resource "azapi_resource" "cluster" {
  type      = "Microsoft.HDInsight/clusters@2018-06-01-preview"
  parent_id = azapi_resource.resourceGroup.id
  name      = var.resource_name
  location  = var.location
  body = {
    properties = {
      clusterDefinition = {
        componentVersion = {
          Spark = "2.4"
        }
        configurations = {
          gateway = {
            "restAuthCredential.isEnabled" = true
            "restAuthCredential.password"  = var.rest_credential_password
            "restAuthCredential.username"  = "acctestusrgw"
          }
        }
        kind = "Spark"
      }
      clusterVersion = "4.0.3000.1"
      computeProfile = {
        roles = [
          {
            hardwareProfile = {
              vmSize = "standard_a4_v2"
            }
            name = "headnode"
            osProfile = {
              linuxOperatingSystemProfile = {
                password = var.vm_password
                username = var.vm_username
              }
            }
            targetInstanceCount = 2
          },
          {
            hardwareProfile = {
              vmSize = "standard_a4_v2"
            }
            name = "workernode"
            osProfile = {
              linuxOperatingSystemProfile = {
                password = var.vm_password
                username = var.vm_username
              }
            }
            targetInstanceCount = 3
          },
          {
            hardwareProfile = {
              vmSize = "standard_a2_v2"
            }
            name = "zookeepernode"
            osProfile = {
              linuxOperatingSystemProfile = {
                password = var.vm_password
                username = var.vm_username
              }
            }
            targetInstanceCount = 3
          },
        ]
      }
      encryptionInTransitProperties = {
        isEncryptionInTransitEnabled = false
      }
      minSupportedTlsVersion = "1.2"
      osType                 = "Linux"
      storageProfile = {
        storageaccounts = [
          {
            container  = azapi_resource.container.name
            isDefault  = true
            key        = data.azapi_resource_action.listKeys.output.keys[0].value
            name       = "${azapi_resource.storageAccount.name}.blob.core.windows.net"
            resourceId = azapi_resource.storageAccount.id
          },
        ]
      }
      tier = "standard"
    }
  }
  schema_validation_enabled = false
  response_export_values    = ["*"]
  timeouts {
    create = "180m"
    update = "180m"
    delete = "60m"
  }
}