Определение среды

В этой статье приводится разбивка структуры определения для элементов среды.

Части определения

Путь к части определения	тип	Обязательно	Описание
`Libraries/CustomLibraries/<libraryname>.jar`	CustomLibraries (JAR)	неправда	Пользовательская библиотека JAR-файлов в формате в кодировке Base64
`Libraries/CustomLibraries/<libraryname>.py`	CustomLibraries (PY)	неправда	Пользовательский файл скрипта Python в формате в кодировке Base64
`Libraries/CustomLibraries/<libraryname>.whl`	CustomLibraries (WHL)	неправда	Пользовательский файл колесика в формате в кодировке Base64
`Libraries/CustomLibraries/<libraryname>.tar.gz`	CustomLibraries (TAR). GZ)	неправда	Пользовательский файл архива R в формате в кодировке Base64
`Libraries/PublicLibraries/environment.yml`	ExternalLibraries (YAML)	неправда	Файл YAML среды с внешними библиотеками в кодировке Base64
`Setting/Sparkcompute.yml`	SparkComputeSettings (YAML)	неправда	Параметры вычислений Spark YAML в формате в кодировке Base64
`.platform`	PlatformDetails (JSON)	неправда	Описание метаданных элемента

Каждая часть определения элемента среды создается следующим образом:

пути — имя файла, например Setting/Sparkcompute.yml.
тип полезных данных — InlineBase64
полезных данных см. в статье пример содержимого полезных данных, декодированного из Base64.

Описание содержимого внешних библиотек Spark

Описание полей, используемых для создания environment.yml.

Имя	Тип	Обязательно	Описание
Зависимости	Словарь	верно	Список пакетов conda, которые будут установлены в среде. Формат — `<package_name>==<version_number>`.
pip	Словарь	неправда	Указывает дополнительные пакеты Python для установки с помощью pip. Это может быть список строк, в которых каждая строка является пакетом pip для установки в формате `<package_name>==<version_number>`.

Описание содержимого параметров Spark

Описывает поля, используемые для создания SparkCompute.yml.

Имя	Тип	Обязательно	Описание
enable_native_execution_engine	булевый	верно	Включите собственный обработчик выполнения. True — включено, false — отключено.
instance_pool_id	Струна	верно	Пул среды. Должен быть допустимым настраиваемым пулом, указанным идентификатором пула экземпляров. Если не указано (NULL) создается начальный пул.
driver_cores	Целое число	верно	Ядра драйвера Spark. Допустимые значения: 4, 8, 16, 32 и 64.
driver_memory	Струна	верно	Память драйвера Spark. Допустимые значения: 28g, 56g, 112g, 224g, 400g.
executor_cores	Целое число	верно	Ядра исполнителя Spark. Допустимые значения: 4, 8, 16, 32, 64.
executor_memory	Струна	верно	Память исполнителя Spark. Допустимые значения: 28g, 56g, 112g, 224g, 400g.
dynamic_executor_allocation	Объект	верно	Динамическое выделение исполнителя. См. описание dynamic_executor_allocation содержимого.
spark_conf	Словарь	неправда	Конфигурации Spark.
runtime_version	Струна	верно	Версия среды выполнения, найдите поддерживаемые среды выполнения структуры.

Описание содержимого dynamic_executor_allocation

Описывает поля, используемые для создания dynamic_executor_allocation.

Имя	Тип	Обязательно	Описание
Активирован	булевый	верно	Состояние динамического выделения исполнителя. True — включено, false — отключено.
min_executors	Целое число	верно	Минимальный номер исполнителя для динамического выделения. Минимальное значение равно 1. Максимальное значение должно быть меньше `maxExecutors`.
max_executors	Целое число	верно	Максимальный номер исполнителя для динамического выделения. Минимальное значение равно 1. Максимальное значение должно быть меньше пула экземпляров `maxNodeCount`.

Часть платформы

Часть платформы — это файл, содержащий сведения о метаданных среды.

создание элемента с определением учитывает файл платформы при условии предоставления
определение элемента всегда возвращает файл платформы.
определение элемента обновления принимает предоставленный файл платформы, но только если задан новый параметр URL-адреса updateMetadata=true.

Пример общедоступных библиотек Spark `environment.yml` содержимого, декодированного из Base64

dependencies:
  - matplotlib==0.10.1
  - scipy==0.0.1
  - pip:
      - fuzzywuzzy==0.18.0
      - numpy==0.1.28

Пример параметров Spark `Sparkcompute.yml` содержимого, декодированного из Base64

enable_native_execution_engine: false
instance_pool_id: 655fc33c-2712-45a3-864a-b2a00429a8aa
driver_cores: 4
driver_memory: 28g
executor_cores: 4
executor_memory: 28g
dynamic_executor_allocation:
  enabled: true
  min_executors: 1
  max_executors: 2
spark_conf:
  spark.acls.enable: true
runtime_version: 1.3

Пример определения

{
    "format": "null",
    "parts": [
        {
            "path": "Libraries/CustomLibraries/samplelibrary.jar",
            "payload": "eyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/samplepython.py",
            "payload": "FyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/samplewheel-0.18.0-py2.py3-none-any.whl",
            "payload": "LyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/sampleR.tar.gz",
            "payload": "ZyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/PublicLibraries/environment.yml",
            "payload": "IyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Setting/Sparkcompute.yml",
            "payload": "GyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": ".platform",
            "payload": "ZG90UGxhdGZvcm1CYXNlNjRTdHJpbmc",
            "payloadType": "InlineBase64"
        }
    ]
}

Last updated on 2025-03-22