Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Возможности разработки и обработки и анализа данных Microsoft Fabric работают на полностью управляемой вычислительной платформе Spark. По умолчанию все задания Spark в рабочей области используют одинаковые параметры пула и ресурсов, но разные рабочие нагрузки часто имеют разные требования. Упрощенное преобразование данных не требует той же памяти драйвера, что и крупномасштабное задание машинного обучения.
Среды Fabric позволяют настраивать конфигурацию вычислений Spark для каждой рабочей нагрузки, поэтому каждое определение блокнота или задания Spark может выполняться с правильной версией среды выполнения, пулом и размерностью драйвера/исполнителя, не изменяя значения по умолчанию на уровне рабочей области.
Настройка параметров вычислений на уровне рабочей области
Администраторы рабочей области управляют тем, могут ли элементы среды переопределить конфигурацию вычислений по умолчанию рабочей области. Сохранение отключенной настройки на уровне элементов гарантирует согласованное использование ресурсов в рабочей области. Включение этой функции предоставляет участникам и сотрудникам гибкость в настройке вычислений для отдельных рабочих нагрузок.
В браузере перейдите в рабочую область Fabric на портале Fabric.
Выберите параметры рабочей области.
Выберите "Инженерия и наука данных", а затем выберите параметры Spark.
Выберите вкладку "Пул ".
Переключите переключатель Настройка конфигураций вычислений для элементов в положение Вкл.
Если этот переключатель включен, члены и участники могут изменять конфигурации вычислений на уровне сеанса в среде Fabric. Если этот параметр отключен, раздел вычислений в элементах среды отключен, а все задания Spark используют пул рабочей области по умолчанию.
Нажмите Сохранить.
Настройка вычислений в среде
После того как администратор рабочей области включит настройку на уровне элемента, вы можете настроить параметры вычислений внутри элемента среды. К ним относятся выбор среды выполнения Spark, выбор пула и настройка ресурсов драйвера и исполнителя.
Выбор среды выполнения Spark
Откройте элемент среды.
На вкладке "Главная" выберите раскрывающийся список среды выполнения и выберите версию среды выполнения.
Каждая среда выполнения Spark имеет собственные параметры по умолчанию и предустановленные пакеты.
Это важно
- Изменения среды выполнения не вступают в силу, пока не сохраните и опубликуете среду.
- Если существующие библиотеки или параметры вычислений несовместимы с выбранной средой выполнения, публикация завершается ошибкой. Удалите или обновите несовместимые параметры, а затем снова опубликуйте.
- Пошаговые инструкции по публикации см. в разделе "Сохранение и публикация изменений".
Выбор пула и настройка свойств вычислений
Откройте среду и перейдите в раздел вычислений .
В разделе пул среды выберите начальный пул или пользовательский пул, созданный администратором рабочей области.
Используйте раскрывающийся список на странице вычислений , чтобы настроить свойства Spark уровня сеанса для выбранного пула. Доступные значения зависят от размера узла пула.
К свойствам относятся:
- Ядра драйвера Spark — количество ядер, выделенных драйверу Spark.
- Память драйвера Spark — объем памяти, выделенной драйверу Spark.
- Ядра исполнителя Spark — количество ядер, выделенных каждому исполнителям.
- Память исполнителя Spark — объем памяти, выделенной каждому исполнителям.
Дополнительные сведения о доступных размерах пула и ограничениях ресурсов см. в разделе "Вычисления Spark" в Fabric.
Замечание
Свойства Spark задаются с помощью spark.conf.set параметров уровня приложения и не связаны с параметрами вычислений среды, описанными здесь.