Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Применимо к:✅ Проектирование данных и наука о данных в Fabric
Пользовательские динамические пулы предварительно нагреваются в кластерах Spark, которые обеспечивают практически мгновенное запуск сеанса для рабочих нагрузок на основе записных книжек в Microsoft Fabric. Вместо ожидания подготовки кластера при каждом запуске настраиваемые динамические пулы поддерживают кластеры в рабочем состоянии в течение заданного периода расписания, что позволяет запускать запланированные и интерактивные ноутбуки с 5-секундным временем запуска сеанса.
Почему используйте настраиваемые динамические пулы
Стандартные сеансы Spark в Fabric требуют выделения кластера каждый раз при запуске сеанса. Для команд, выполняющих частые записные книжки (будь то интерактивные, запланированные или запускаемые конвейером), это время подготовки может замедлить циклы итерации и увеличить общую задержку задания.
В пользовательских динамических пулах это можно решить следующим образом:
- Предварительное распределение кластеров на основе определяемого пользователем расписания, поэтому вычислительные ресурсы будут готовы при поступлении рабочих нагрузок.
- Обеспечение точного контроля над количеством поддерживаемых в активном состоянии кластеров и средой, используемой для настройки библиотеки.
- Обеспечение согласованной производительности запуска (около 5 секунд) для всех поддерживаемых типов сеансов записной книжки во время запланированного окна.
Настраиваемые динамические пулы дополняют существующий начальный пул и настраиваемые параметры пула Spark в Fabric:
| Параметр вычислений | Время запуска | На основе расписания | Пользовательские библиотеки | Поддерживаемые рабочие нагрузки |
|---|---|---|---|---|
| Начальные пулы | 5–10 секунд (без библиотек) | Нет | Нет | Ноутбуки, SJD |
| Настраиваемые пулы Spark | ~1 мин | Нет | Через среду | Ноутбуки, SJD |
| Настраиваемые динамические пулы | ~5 секунд до 10 секунд (после завершения гидратации) | Да | Через окружение | Записные книжки (только интерактивные и запланированные) |
Основные понятия
В следующих понятиях объясняется, как работают пользовательские динамические пулы, включая подготовку кластеров, когда они доступны, а также способ управления емкостью и конфигурацией библиотеки.
Гидратация и разогрение
При создании и публикации настраиваемого активного пула платформа Fabric начинает подготовку кластеров перед запланированным окном. Гидратация означает, что кластеры полностью подготовлены, настроены с учетом присоединенной среды и сохраняются в состоянии готовности, пока не поступит запрос на сессию.
Время запуска около 5 секунд доступно только после полного заполнения пула. Во время начальной установки или сразу после изменения конфигурации сеансы могут столкнуться с более длительным временем запуска до завершения процесса гидратации. Сведения об устранении неполадок см. в разделе "Гидратация" занимает больше времени, чем ожидалось.
Schedules
Для каждого пользовательского динамического пула требуется расписание, определяющее, когда пул активен. Кластеры сохраняются теплыми только в запланированном окне, а выставление счетов происходит только во время выделения кластеров. Если срок действия расписания истекает или кластер неактивен до заданного порогового значения, Структура освобождает его и останавливает выставление счетов.
Спланируйте расписание для покрытия ожидаемых окон рабочей нагрузки, чтобы теплые вычисления были доступны, когда ваша команда нуждается в ней. Инструкции по настройке и рекомендации см. в разделе "Настройка динамического пула".
Привязка к среде
Каждый настраиваемый динамический пул подключен к среде Fabric. Среда определяет, какие библиотеки предварительно установлены в гидратированных кластерах. Чтобы обновить библиотеки, необходимо изменить и повторно опубликовать среду. Уже существующие гидратированные кластеры не обновляются с новыми библиотеками до следующей запланированной гидратации или ручного обновления. Инструкции по настройке см. в разделе "Настройка динамического пула".
Режимы публикации библиотеки
Режим публикации библиотеки в подключенной среде определяет, как библиотеки доставляются в гидратированные кластеры:
- Полный режим: библиотеки разрешаются и встраиваются в образ подготовленного кластера во время публикации среды. При запуске сеанса моментальный снимок полного режима уже присутствует в кластере, что позволяет начать сеанс примерно за 5 секунд. Используйте полный режим, если требуется стабильный, воспроизводимый набор библиотек с самым быстрым запуском сеанса.
- Быстрый режим. Библиотеки не предварительно установлены в гидратированных кластерах. Вместо этого они устанавливаются при запуске сеанса записной книжки. Гидратированные кластеры по-прежнему обеспечивают быстрое выделение вычислительных ресурсов, но установка библиотеки при запуске сеанса добавляет время. Используйте быстрый режим для быстрой итерации во время разработки, если стабильность библиотеки менее важна.
Замечание
Папка "Ресурсы блокнота" и встроенные конфигурации библиотеки (например, %pip install в ячейке кода) — это ручной подход, актуальный для каждой сессии. Они не зависят от режима публикации среды и не влияют на то, какие библиотеки предварительно установлены в гидратированных кластерах.
Емкость кластера
Каждый пул имеет максимальное количество кластеров, заданное во время настройки. Fabric автоматически не масштабирует пул за пределы этого значения. При использовании всех гидратированных кластеров дополнительные задания возвращаются к подготовке по запросу, что занимает около 3–5 минут или больше в зависимости от зависимостей пакета библиотеки. Рекомендации по размеру см. в разделе " Размер кластера".
Поддерживаемые рабочие нагрузки
Эти пользовательские live пулы поддерживают следующие типы сессий Spark, основанные на записных книжках:
- Интерактивные записные книжки выполняются на портале Fabric
- Запланированные запуски ноутбуков, настроенные в планировщике ноутбуков
- Выполнение записной книжки, активируется конвейерами
Замечание
Определения заданий Spark (пакетные задания) не поддерживаются в текущем выпуске пользовательских динамических пулов.
Емкость и лицензирование
Для пользовательских динамических пулов требуется платный номер SKU емкости Microsoft Fabric. В настоящее время емкости пробной версии Fabric не поддерживаются.
Сведения о доступных позициях SKU емкости можно найти в разделе Концепции и лицензии Microsoft Fabric.
Управление доступом
Назначения ролей рабочей области управляют доступом к конфигурации и состоянию настраиваемого динамического пула:
| Роль | Разрешения |
|---|---|
| Просмотрщик или участник | Доступ только для чтения к состоянию и конфигурации пула |
| Администратор | Полная конфигурация, сохранение и публикация разрешений |
Гостевые пользователи B2B должны быть назначены на явно указанную роль рабочего пространства для работы с пользовательскими динамическими пулами.
Ограничения
Следующие ограничения применяются к пользовательским динамическим пулам в текущем выпуске:
- Сеансы начинаются в течение ~5 секунд только после полного гидратации пула. Во время начальной установки или после изменения конфигурации время запуска может быть больше.
- Изменения библиотеки требуют повторной публикации подключенной среды. Гидратированные кластеры не обновляются автоматически.
- Если присоединенная среда использует быстрый режим для некоторых библиотек, эти библиотеки не предварительно установлены в гидратированных кластерах и должны устанавливаться при запуске сеанса. Для быстрого запуска сеанса с пользовательскими динамическими пулами используйте полный режим для зависимостей библиотеки.
- Поддерживаются только сеансы Spark на записных книжках. Определения заданий Spark не поддерживаются.
- Пробные возможности Fabric не поддерживаются.
- Каждый пул должен иметь расписание. Пулы без расписания не могут быть опубликованы.
- Пользовательскими активными пулами нельзя управлять через публичные API окружения или конвейеры CI/CD. Необходимо выполнить настройку на портале Fabric.