Поделиться через


Настройка параметров инженерии данных и науки о данных для емкостей Fabric и управление ими

Область применения:✅ Инжиниринг данных и Обработка и анализ данных в Microsoft Fabric

При создании Microsoft Fabric на портале Azure он автоматически добавляется в клиент Fabric, связанный с подпиской, используемой для создания емкости. При упрощенной настройке в Microsoft Fabric не требуется связывать емкость с клиентом Fabric. Поскольку только что созданная возможность будет указана в панели настроек администратора. Эта конфигурация обеспечивает более быстрый процесс для администраторов, чтобы начать настройку возможностей для своих корпоративных аналитических групп.

Чтобы внести изменения в параметры Инжиниринг данных/Наука в данном ресурсе, необходимо иметь роль администратора для этого ресурса. Дополнительные сведения о ролях, которые можно назначать пользователям в возможностях, см. в разделе Роли в емкостях.

Чтобы управлять настройками Инженерии/Науки о данных для ресурсов Microsoft Fabric, выполните следующие действия.

  1. Выберите параметр "Параметры", чтобы открыть панель параметров для учетной записи Fabric. Выберите портал администрирования в разделе "Управление и аналитика".

    Снимок экрана: выбор параметров портала администрирования.

  2. Выберите настройки емкости, чтобы развернуть меню и выбрать вкладку вместимости Fabric. Здесь вы увидите емкости, созданные в вашем tenant. Выберите емкость, которую требуется настроить.

    снимок экрана, показывающий, где выбрать параметры емкости.

  3. Вы будете перенаправлены в область сведений о емкости, где можно просмотреть использование и другие элементы управления администраторами для вашей емкости. Перейдите в раздел Настройки Data Engineering/Science и выберите Вычисления Open Spark. Настройте следующие параметры:

Примечание.

Хотя бы одна рабочая область должна быть присоединена к платформе Fabric для изучения параметров инженерии данных и науки о данных на административном портале платформы Fabric.


Управление администратором: отключение использования Starter Pool

Администраторы ресурсов теперь могут отключить использование начального пула на рабочих областях, подключенных к ресурсу. При отключении пользователи и администраторы рабочих областей больше не увидят начальный пул в качестве параметра вычислений. Вместо этого они должны использовать настраиваемые пулы, явно созданные и управляемые администратором емкости.

Эта функция обеспечивает централизованное управление для использования вычислительных ресурсов, обеспечивая более жесткий контроль над размерами вычислений, затратами и поведением планирования.

Подсказка

Этот параметр особенно полезен в крупных организациях, которые хотят стандартизировать шаблоны вычислений и избегать произвольного потребления с помощью начальных пулов по умолчанию.


Элемент управления администратором: переключение на уровне задания

Microsoft Fabric поддерживает ускорение для виртуальных ядер Spark, что позволяет одному заданию временно использовать больше вычислительных ядер, чем базовая емкость. Это повышает производительность задания во время всплесков активности, позволяя использовать полную емкость.

Теперь администратор емкости может контролировать это поведение с помощью переключателя "Отключить всплеск нагрузки на уровне задания", доступного в Администраторском портале.

  • Расположение:
    Admin Portal → Capacity Settings → [Select Capacity] → Data Engineering/Science Settings → Spark Compute

  • Поведение:

    • Включено (по умолчанию): одно задание Spark может использовать полный предел ускорения (до 3× виртуальных ядер Spark).
    • Отключено: отдельные задания Spark ограничены выделением базовой емкости, сохранением параллелизма и избегаем монополизации.

Примечание.

Этот параметр доступен только при выполнении заданий Spark на Fabric Capacity. Если включен параметр Автомасштабируемое выставление счетов, этот переключатель отключается автоматически, так как:

  • Автоматическое масштабирование счетов следует принципу "платишь только за то, что используешь".
  • Нет окна сглаживания, чтобы учитывать всплески использования и сбалансировать их в течение 24 часов.
  • Всплеск — это функция зарезервированной емкости, а не вычислительных ресурсов с автоматическим масштабированием по запросу.

Варианты использования и примеры

Сценарий Настройки Поведение
Тяжелая рабочая нагрузка ETL Режим повышенной пропускной способности включен (по умолчанию) Задание может использовать всю пиковую емкость (например, 384 виртуальных ядер Spark в F64).
Интерактивные записные книжки с несколькими пользователями Взрыв отключено Использование заданий ограничено (например, 128 виртуальных ядер Spark в F64), что повышает параллелизм.
Автомасштабирование выставления счетов включено Управление всплеском недоступно Все счета за использование Spark выставляются по запросу; нет всплеска из базовой емкости.

Подсказка

Используйте этот параметр для оптимизации пропускной способности или параллелизма:

  • Сохраняйте возможность ускорения для больших заданий и конвейеров.
  • Отключите его для интерактивных или общих сред со многими пользователями.

Пулы емкости для разработки и обработки и анализа данных в Microsoft Fabric

  1. В разделе "Список пулов " параметров Spark нажмите кнопку "Добавить ", чтобы создать настраиваемый пул для емкости Fabric.

    снимок экрана, показывающий раздел списка пулов в параметрах портала администрирования.

    Вы перейдете на страницу создания пула, где можно:

    • Укажите имя пула
    • Выбор семейства узлов и размера узла
    • Настройка узлов Min и Max
    • Включение и отключение автомасштабирования и динамическое выделение исполнителей

    Снимок экрана: раздел создания пула в параметрах портала администрирования.

  2. Нажмите кнопку "Создать", чтобы сохранить параметры.

    Снимок экрана: пулы емкости, сохраненные в параметрах портала администрирования.

Примечание.

Настраиваемые пулы на уровне емкости имеют задержку запуска 2–3 минуты. Для ускорения запуска сеанса Spark (<5 секунд) используйте начальные пулы при включении.

  1. После создания пул емкости становится доступным в:

    • Раскрывающийся список выбора пула в параметрах рабочей области
    • Страница "Параметры вычислений среды " в рабочих областях

    Снимок экрана: пулы емкости, перечисленные в параметрах рабочей области.

    Снимок экрана: пулы емкости, перечисленные в параметрах среды.

  2. Это обеспечивает централизованное управление вычислительными ресурсами. Администраторы могут создавать стандартизированные пулы и при необходимости отключать настройку на уровне рабочей области, запрещая администраторам рабочих областей изменять параметры пула или создавать собственные параметры.