Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Автомасштабирование выставления счетов для Spark — это модель выставления счетов по мере использования для рабочих нагрузок Apache Spark в Microsoft Fabric. Когда включены, задания Spark больше не используют вычислительные ресурсы из емкости Fabric. Вместо этого задания используют выделенные бессерверные ресурсы, которые оплачиваются отдельно.
Эта модель дополняет стандартную модель емкости, чтобы выбрать оптимальный вариант для каждой рабочей нагрузки.
Выберите между моделью автоматического масштабирования выставления счетов и моделью по емкости
| Функция | Модель емкости | Выставление счетов за автомасштабирование в Spark |
|---|---|---|
| Выставление счетов | Фиксированные затраты на уровень емкости | Оплата по факту выполнения заданий Spark |
| Масштабирование | Распределенная емкость между рабочими нагрузками | Spark масштабируется независимо |
| Состязание по ресурсам | Возможности между рабочими нагрузками | Ограничения выделенных вычислений для Spark |
| Лучший вариант использования | Прогнозируемые рабочие нагрузки | Динамические или всплесковые задачи Spark |
Вы можете объединить обе модели, чтобы сбалансировать затраты и производительность. Например, выполняйте стабильные повторяющиеся рабочие нагрузки на выделенных ресурсах и переводите пиковые или нерегулярные рабочие процессы Spark на автоматическое масштабирование с учётом выставления счетов.
Ключевые преимущества
- Экономичность: оплата только для среды выполнения заданий Spark.
- Независимое масштабирование: рабочие нагрузки Spark выполняются без влияния на другие зависящие от емкости операции.
- Enterprise-ready: интегрируется с Azure управление квотами для обеспечения гибкости масштабирования.
Как работает оплата автоматического масштабирования
Если включено выставление счетов автомасштабирования:
- Задания Spark выгружаются из емкости Fabric и не используют ЕИ из этой емкости.
- Вы устанавливаете максимальное ограничение CU для рабочих нагрузок в Spark (ограничение, аналогичное квоте).
- Выставление счетов остается на основе скорости использования Spark (
0.5 CU hour) и применяется только к активным вычислениям заданий. - По достижении лимита CU интерактивные задания ограничиваются, а пакетные задания помещаются в очередь.
- Использование и стоимость Spark отображаются отдельно в приложении Метрики емкости Fabric и Azure Cost Analysis.
Это важно
Выставление счетов за автомасштабирование требует индивидуальной активации для каждой емкости и не предполагает выход за пределы или возврат к емкости Fabric. Это отдельная бессерверная модель с оплатой по мере использования.
Поведение одновременного выполнения задач и формирования очереди
При включении автомасштабируемого выставления счетов параллелизм Spark регулируется максимальным лимитом единиц емкости (CU), заданным администратором емкости Fabric. В отличие от стандартной емкости, автоматизированное выставление счетов не использует всплески или сглаживание.
- Интерактивные задания Spark (например, операции Lakehouse, предварительный просмотр таблицы, загрузка в таблицу или интерактивные запросы записной книжки) ограничиваются когда доступные вычислительные единицы полностью используются.
- Фоновые задания Spark (активируемые конвейерами, планировщиком, выполнением API, определениями заданий Spark или обслуживанием таблиц) помещаются в очередь.
Размер очереди привязан к ограничению CU.
Замечание
Если максимальный предел cu равен 2048, очередь Spark может содержать до 2048 заданий.
Это поведение обеспечивает прогнозируемое и управляемое выделение при поддержке рабочих нагрузок Spark с большим объемом.
Запрос дополнительных квот
Если для рабочих нагрузок, связанных с инженерией данных или наукой о данных, требуется более высокая квота, чем текущий максимальный лимит вычислительных единиц, запросите увеличение квоты в Azure:
- Перейдите на портал Azure и войдите.
- В строке поиска введите и выберите Квоты Azure.
- Выберите Microsoft Fabric из списка доступных служб.
- Выберите подписку, соответствующую вашей емкости Fabric.
- Измените ограничение квоты, введя новое ограничение CU, которое вы планируете задать.
- Отправьте запрос квоты.
После утверждения обновленное ограничение CU применяется к вместимости Fabric.