Примечание
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Автоматическое масштабирование выставления счетов для Spark вводит новую модель оплаты по мере использования для рабочих нагрузок Apache Spark в Microsoft Fabric, предназначенную для повышения гибкости и оптимизации затрат. С включенной моделью задания Spark больше не используют вычислительные ресурсы из резерва Fabric, а вместо этого используют выделенные, бессерверные ресурсы, оплата за которые выставляется независимо, как и в случае с Azure Synapse Spark.
Эта модель дополняет существующую модель на основе емкости в Fabric, позволяя организациям выбирать подходящую модель вычислений для своих рабочих нагрузок.
Выбор между динамическим выставлением счетов и моделью на основе емкости
| Функция | Модель емкости | Выставление счетов за автомасштабирование в Spark |
|---|---|---|
| Выставление счетов | Фиксированные затраты на уровень емкости | Оплата по факту выполнения заданий Spark |
| масштабирование | Распределенная емкость между рабочими нагрузками | Spark масштабируется независимо |
| Конкуренция за ресурсы | Возможности между рабочими нагрузками | Ограничения выделенных вычислений для Spark |
| лучший вариант использования | Прогнозируемые рабочие нагрузки | Динамические или всплесковые задачи Spark |
Стратегически используя обе модели, команды могут сбалансировать затраты и производительность, выполняя стабильные повторяющиеся задания на постоянных ресурсах, одновременно распределяя нерегламентированные или ресурсоемкие задачи Spark на систему автоперераспределения.
Ключевые преимущества
- ✅ Эффективность затрат — платите только за время выполнения заданий Spark.
- ✅ Независимое масштабирование — рабочие нагрузки Spark выполняются без влияния на другие зависящие от емкости операции.
- ✅ готовы для использования в корпоративной среде — интегрируется с управлением квотами Azure для гибкого масштабирования.
Как работает биллинг автоматического масштабирования
При включении автоматическое выставление счетов изменяет способ обработки рабочих нагрузок Spark:
- Задания Spark будут перенесены из емкости Fabric и не использовать CU из емкости Fabric.
- Максимальное ограничение CU можно настроить для соответствия политикам бюджета или политикам управления. Это ограничение — это только максимальное ограничение (например, квота) для рабочих нагрузок Spark. Плата взимается только за CUs, которые используют ваши задания, и затраты на простои вычислительных ресурсов отсутствуют.
- Нет изменений в тарифе для Spark. Стоимость Spark остается прежней — 0,5 CU в час за задание Spark.
- После достижения ограничения CU задания Spark будут попадать в очередь (пакетный режим) или ограничиваться (интерактивный режим).
- Использование и затраты Spark передаются отдельно в приложении метрики емкости Fabric и Анализе затрат Azure.
Это важно
Автоматическое масштабирование выставления счетов на добровольной основе для емкости и не превышает и не возвращается к емкости Fabric. Это полностью бессерверное решение с оплатой по мере использования. Вы включаете выставление счетов с учетом автомасштабирования, устанавливаете максимальные ограничения, и взимается плата только за вычислительные единицы (ЦС), потребляемые заданиями, которые вы выполняете.
Поведение одновременного выполнения задач и формирования очереди
Если включено выставление счетов автомасштабирования, параллелизм заданий Spark регулируется ограничением максимального количества единиц емкости (CU), определённым администратором емкости Fabric. В отличие от стандартной модели емкости, отсутствуют возможности для включения разбивки или сглаживания емкости.
- Интерактивные задания Spark (например, операцииLakehouse, предварительный просмотр таблицы, загрузка в таблицуили интерактивные запросы в записных книжках) будут регулироваться после полного использования доступных вычислительных единиц.
- Фоновые задания Spark (активируемые конвейером, планировщиком заданий, выполнениями API, определениями заданий Spark, или обслуживанием таблиц) будут поставлены в очередь.
Размер очереди напрямую привязан к ограничению CU.
Например, если для максимального ограничения cu задано значение 2048, очередь заданий Spark может содержать до заданий 2048.
Эта модель гарантирует, что выделение ресурсов остается предсказуемым и управляемым, сохраняя поддержку больших объемных рабочих нагрузок.
Запрос дополнительных квот
Если для рабочих нагрузок для разработки данных или обработки и анализа данных требуется более высокая квота, чем текущее максимальное ограничение единицы емкости (CU), можно запросить увеличение с помощью страницы "Квоты Azure":
- Перейдите к порталу Azure и войдите.
- В строке поиска введите «», а затем выберите «квоты Azure».
- Выберите Microsoft Fabric из списка доступных служб.
- Выберите подписку, соответствующую вашей емкости Fabric.
- Измените ограничение квоты, введя новое ограничение CU, которое вы планируете задать.
- Отправьте запрос квоты.
После утверждения запроса новые ограничения CU будут обновлены и применены к вычислительной мощности Fabric. Это гарантирует, что модель автоматического выставления счетов может соответствовать увеличению спроса без прерывания рабочих нагрузок Spark.