Настройка настраиваемых динамических пулов в Microsoft Fabric

Применимо к:✅ Проектирование данных и наука о данных в Fabric

Пользовательские живые пулы — это предварительно настроенные кластеры Spark, обеспечивающие практически мгновенный запуск сеансов для записных книжек в Microsoft Fabric. В этой статье показано, как создавать, настраивать и управлять пользовательскими динамическими пулами для оптимальной производительности.

Необходимые условия

Прежде чем настраивать пользовательские динамические пулы, убедитесь, что у вас есть:

• Доступ к рабочей области Microsoft Fabric с платным SKU Fabric (возможности пробной версии Fabric не поддерживаются)
• Роль администратора в рабочей области
• Назначенная вашей рабочей области активная емкость Fabric
• Среда Fabric, использующаяся для настройки библиотеки, опубликована.

Создание пользовательского пула для активного пула

Сначала создайте пользовательский пул Spark. Вы включите вычисления для живого пула на этом пуле на следующем шаге.

1. Перейдите в рабочую область Fabric.
2. Выберите параметры рабочей области на домашней ленте рабочей области.
3. Разверните раздел "Инженерия и наука данных" и выберите параметры Spark.
4. Выберите вкладку "Пул ".
5. В раскрывающемся списке пула по умолчанию для рабочей области выберите новый пул.
6. Введите имя пула. Это уникальный идентификатор пула (например, "dev-team-pool" или "prod-daily-analytics")
7. Выберите семейство узлов и размер узла для рабочей нагрузки.
8. Установите флажок автомасштабирования , чтобы включить автомасштабирование для пула.
9. Задайте для минимальных узлов значение не менее 2.

Настройка активного пула

После создания настраиваемого пула Spark включите вычисление динамических пулов с помощью параметров среды .

1. В рабочей области Fabric откройте среду, которую требуется подключить к пользовательскому динамическому пулу.

2. В левой области выберите "Вычисления".

3. Выберите пул, созданный на предыдущем шаге, из раскрывающегося списка.

4. В разделе "Динамический пул" выберите переключатель, чтобы активировать вычислительные ресурсы динамического пула для этой среды.

   

5. В разделе "Расписание динамического пула" выберите радиокнопку, чтобы активировать выбранный элемент. Все пользовательские живые пулы должны иметь расписание. Кластеры гидратируются только в течение запланированного окна.

6. Укажите параметры расписания:

   • Будет ли расписание повторяющимся
   • Начало и окончание дня и времени
   • Часовой пояс
   • Когда отключать и вновь активировать пул
   • Другие параметры, применимые

   Это важно

   Fabric использует стандартное развертывание Spark для операций вне запланированного окна, из-за чего время запуска становится более медленным. Кластеры не сохраняются теплыми за пределами запланированного окна.

   Для получения советов по планированию обратитесь к Лучшие практики по составлению расписания.

7. Сохраните параметры вычислений.

8. Нажмите кнопку "Опубликовать " на верхней ленте.

После публикации пул становится активным, и Fabric начинает подготовку кластеров перед следующим периодом расписания.

Мониторинг состояния пула

Чтобы проверить состояние пользовательского динамического пула, выполните следующие действия.

1. На портале Fabric откройте центр мониторинга.

2. Найдите опубликованную среду и выберите значок многоточия (...) для открытия контекстного меню.

3. Выберите "Просмотреть сведения".

   

4. В правой области разверните статус активного пула, чтобы просмотреть текущее состояние пула.

Состояние активного пула содержит такие сведения, как:

• Состояние пула: например, Активный, Гидратация, Ожидание или Остановлен
• Доступные кластеры: количество кластеров, готовых к сеансам ноутбуков
• Занятые кластеры: количество кластеров, работающих в настоящее время
• Следующее расписание: предстоящее окно действий

Лучшие практики

Чтобы получить большую часть пользовательских динамических пулов, ознакомьтесь со следующими рекомендациями по настройке и управлению:

Оптимизация затрат и производительности

• Выравнивайте число с спросом: задайте максимальное число кластеров на основе ожидаемых одновременных сеансов. Чрезмерное резервирование увеличивает затраты.
• Мониторинг использования: регулярно просматривайте метрики пула и при необходимости настраивайте количество кластеров.
• Эффективно планируйте расписания: избегайте пересечения расписаний между несколькими пулами, если это не оправдано.
• Настройте тайм-ауты простоя: Задайте соответствующие тайм-ауты простоя для поддержания баланса между доступностью ресурсов и для избежания частых перезапусков кластера.

Размер кластера

При настройке пула рассмотрите следующие параметры и рекомендации.

• Размер кластера: количество экземпляров выполнителя для сеансов блокнота (диапазон: 1–16).
• Максимальное число кластеров: максимальное количество кластеров для поддержания гидратации. Устанавливается на основе ожидаемых одновременных сеансов.
• Время ожидания простоя: период, в течение которого неиспользуемый кластер остается выделенным, прежде чем Fabric завершит его работу.

Управление зависимостями библиотеки

• Используйте группировку окружающей среды: предварительная установка общих библиотек в среде вместо установки в реальном времени.
• Версионирование среды: Обновление подключенной среды требует повторной публикации и обновления гидратированных кластеров.
• Обновление гидратированных кластеров: после изменения среды обновите пул или дождитесь следующего запланированного цикла применения изменений.

Адаптация к шаблонам рабочей нагрузки

• Контроль внешнего поведения: настройте время ожидания простоя в зависимости от фактических шаблонов использования.
• Совместное использование между сеансами. Рекомендуется совместно использовать одну среду в нескольких пулах, если у вас есть согласованные шаблоны рабочей нагрузки для повышения использования ресурсов.

Практики эффективного планирования

• Ориентируйтесь на шаблоны рабочей нагрузки: запланируйте время активности, когда ваша команда работает с интерактивными или запланированными блокнотами.
• Буферное время: добавьте 60-90 минут до ожидаемых окон использования, чтобы обеспечить полную гидратацию.
• Рассмотрим часовые пояса: если команда охватывает несколько часовых поясов, расширьте расписание, чтобы охватывать необходимые диапазоны времени.

Troubleshooting

Устранение неполадок настраиваемых динамических пулов включает проверку состояния пула, работоспособности среды и настройки расписания, как описано в следующих сценариях:

Пул все еще недоступен

Если пул не удается активировать или отображает состояние "Недоступно".

• Убедитесь, что емкость Fabric активна и назначена рабочему пространству в настоящее время.
• Убедитесь, что подключенная среда находится в состоянии "Готово".
• Убедитесь, что подключенная среда опубликована и не имеет ошибок.

Гидратация занимает больше времени, чем ожидалось

Если гидратация медленнее, чем ожидалось:

• Проверьте зависимости среды и состояние сборки.
• Убедитесь, что среда находится в состоянии "Готово".
• Мониторьте данные пула для получения дополнительной информации.

Не удается запустить сеансы или блокноты

Если сеансы записной книжки не удается запустить даже с активным пулом:

• Убедитесь, что сеанс использует правильную среду.
• Убедитесь, что пул находится в состоянии "Доступно" и полностью гидратирован.

Связанный контент

• Общие сведения о пользовательских динамических пулах
• Настройка начальных пулов
• Создание настраиваемых пулов Spark
• Создание и использование среды