Изучите политику регулирования пропускной способности в Fabric

Троттлинг происходит, когда операции занимают больше секунд ёмкости (CU), чем позволяет SKU. Единицы мощности измеряют вычислительную мощность, доступную для каждого SKU. Слишком много регулирования может привести к снижению производительности конечных пользователей. Клиент Microsoft Fabric может создавать несколько мощностей и назначать рабочие пространства определенной мощности для выставления счетов и масштабирования.

Fabric применяет ограничение на уровне мощности. В то время как одна мощность или набор рабочих мест может испытывать снижение производительности из-за перегрузки, другие могут продолжать работать нормально. Когда один ресурс создаёт такие элементы, как элементы OneLake, а другой ресурс их использует, состояние троттлинга потребляющего ресурса определяет, будут ли ограничиваться запросы к этому элементу.

Как Fabric балансирует между производительностью и надёжностью

Fabric обеспечивает быструю производительность для своих клиентов. Задачи, которые могут занять несколько минут до завершения на других платформах, могут выполняться всего за несколько секунд в Fabric. Крупные операции могут выполняться в любое время суток без тщательного планирования, поскольку Fabric распределяет вычислительные данные для этих операций на более длительный период времени, не замедляя процесс. Fabric поддерживает это поведение с помощью встроенного bursting и smoothing. Эти функции позволяют емкостям самостоятельно управляться и восстанавливаться, когда временные всплески загрузки могли бы привести к отказу или замедлению других систем.

Bursting: Используйте больше вычислительной мощности, чем предоставляет SKU

Для обеспечения высокой производительности Fabric использует bursting для максимально быстрого выполнения операций. При всплеске нагрузки операции могут временно использовать больше вычислительных ресурсов, чем выделено для SKU ёмкости. Из-за разрыва вы получаете результаты без ожидания. Меньшая мощность также может использовать bursting для работы крупных операций, которые обычно требуют более дорогой мощности.

Сглаживание: распределение использования CU между будущими временными точками

Чтобы не штрафовать вас, когда операции выигрывают от кратковременных всплесков нагрузки, Fabric сглаживает, или усредняет, потребление CU операцией за более длительный период времени. Такое поведение гарантирует стабильно высокую производительность без снижения скорости.

Сглаживание распределяет потребление CU на будущие временные точки. Временные точки в Fabric длятся 30 секунд. Следующие 24 часа содержат 2 880 точек времени. Fabric автоматически управляет объёмом потраченных CU в каждой точке времени.

Тип использования операции определяет количество временных точек, которые Fabric использует для сглаживания. Узнайте об операциях Fabric.

• Fabric распределяет нагрузку интерактивных операций в течение как минимум пяти минут и вплоть до 64 минут — в зависимости от объёма потребляемых ими ресурсов CU.
• Fabric равномерно распределяет выполнение фоновых операций в течение 24-часового периода, поскольку они обычно выполняются долго и характеризуются высоким потреблением CU.

Из-за сглаживания только часть использования вычислительных единиц (CU) для операции применяется к любой отдельной точке времени, что снижает общее ограничение. Сглаженное использование CU накапливается при выполнении операций. Будущая вычислительная мощность, то есть CU, доступные в будущие моменты времени, позволяет оплачивать сглаженное использование, поскольку вычислительная мощность предоставляется непрерывно.

Взрыв и сглаживание работают вместе, чтобы вам было проще выполнять работу. Например, обычно вы тратите время на планирование работ и распределяние их по всему дню. С помощью сглаживания Fabric распределяет вычислительные затраты на фоновые задания в течение 24 часов. В результате все запланированные задания могут выполняться одновременно, не вызывая скачков, которые в противном случае заблокировали бы их запуск. В то же время вы можете получать стабильно высокую производительность, не дожидаясь завершения медленных заданий и не тратя время на управление графиками.

Триггеры дросселя и этапы дросселирования

Несмотря на то, что емкости имеют встроенное сглаживание, которое снижает влияние пиков использования, все еще можно перегружать емкость, выполняя слишком много операций.

Ресурс автоматически ограничивает скорость выполнения новых операций при перегрузке. Регулирование выполняется в прогрессивных шагах, чтобы свести к минимуму влияние на важные задачи, такие как обновления данных.

Даже когда производительность превышает 100% загрузки, Fabric не сразу применяет ограничение. Вместо этого мощность обеспечивает защиту от превышения лимита, позволяя использовать 10 минут будущей мощности без ограничения. Такое поведение обеспечивает ограниченную встроенную защиту от скачков, обеспечивая пользователям стабильно высокую производительность без сбоев.

Регулирование начинается, когда мощность исчерпывает все свои ресурсы CU на следующие 10 минут. Первая фаза троттлинга применяет 20-секундные задержки для новых интерактивных операций. Вторая фаза ограничения пропускной способности отклоняет новые интерактивные операции, когда емкость исчерпывает все свои ресурсы CU на следующий час. На этом этапе фоновые операции могут запускаться и выполняться. Третий этап ограничения отклоняет все новые запросы — как интерактивные, так и фоновые, — когда емкость полностью использует все доступные ресурсы CU в течение следующих 24 часов. Выделенная ёмкость продолжает дросселировать запросы, пока вы не погасите задолженность по израсходованным CU.

В следующей таблице сведены условия срабатывания и этапы троттлинга.

Пример: Как сглаживание снижает троттлинг при фоновой работе

Вот наглядный пример того, как работает сглаживание для одной фоновой операции, которая потребила 1 CU-час (то есть потребляла 1 CU в течение 1 часа). Fabric равномерно распределяет выполнение фоновых операций на протяжении 24 часов. Вклад фоновой операции в любую временную точку — это часы CU операции, делённые на часы CU SKU за период сглаживания. F2 предоставляет 2 CU, или 48 CU-часов в день (2 CU, умноженные на 24 часа). На это задание приходится 1 CU-час / 48 CU-часов = ~2,1% для каждой временной точки. Влияние на лимиты троттлинга в 10 и 60 минут также составляет ~2,1%.

Ниже приведены подробные сведения, поддерживающие пример:

1 CU час = 3 600 CU секунд (1 CU умножено на 60 минут в час и 60 секунд в минуту).

Каждая точка времени длится 30 секунд. В течение 24 часов существует 280 точек времени (24 часа * 60 минут * 2 точек времени в минуту).

Поскольку сглаживание распределяет 3 600 секунд CU по 24 часам, задача вносит вклад в размере 3 600 секунд CU / 2 880 временных точек в каждую 30‑секундную временную точку. Таким образом, это составляет 1,25 секунды CU на каждый момент времени.

Процент дросселирования за 10 минут рассчитывается на основе общего количества единиц вычислительной мощности (CU), доступных в течение следующих 10 минут доступности мощности.

Емкость F2 обеспечивает 2 единицы CU. В каждой временной точке F2 имеет 2 CU, умноженных на 30 секунд = 60 CU секунд вычисления.

Вклад фонового задания в любой отдельный момент времени составляет 1,25 CU-секунды / 60 CU-секунд = ~2,1% от отдельного момента времени.

За 10 минут F2 имеет 2 CU, умноженных на 600 секунд = 1 200 CU секунд вычисления.

Часть фоновой задачи, которая за счёт сглаживания распределяется на следующие 10 минут доступной мощности, составляет 1,25 CU-секунды, умноженные на 20 временных интервалов = 25 CU-секунд.

Таким образом, процент троттлинга за 10 минут равен 25 CU секунд / 1 200 CU секунд = ~2,1%.

Аналогичным образом, 60-минутное ограничение процентного воздействия фонового задания также составляет ~2,1%.

Хотя фоновая операция использовала больше CU, чем доступно в следующем 10-минутном интервале (в шесть раз больше), ёмкость F2 не подвергается ограничению, так как сглаживание распределяет общее количество CU на 24 часа. Из-за сглаживания к любой отдельной точке времени применяется только небольшая часть потребляемых единиц ЦС.

Перерасход, перенос и использование

Когда операции используют больше пропускной способности, чем поддерживает SKU за одну временную точку, система вычисляет перерасход. Система вычисляет перерасходы после сглаживания. Если перерасход превышает разрешенное 10-минутное окно троттлинга, он превращается в CU с переносом.

Защита от перебора гарантирует, что емкость не будет регулироваться, пока не будет заполнено 10-минутное окно регулирования. Это снижает частоту интерактивных задержек, которые вызывают временные скачки в использовании.

Fabric применяет перенесённые CU к каждому последующему моменту времени. Если таймпойнт не заполнен, неиспользованные CU уменьшают сумму переносных CU. Это сокращение — это выгорание.

Регулирование продолжается до тех пор, пока неиспользуемая емкость не погасит все перенесенные единицы вычисления.

Мониторинг возможностей для дросселирования

Администраторы по пропускной способности могут настраивать электронные уведомления о порогах ёмкости , используя события обзора вместимости. Администраторы также могут использовать приложение для анализа метрик емкости, чтобы просмотреть уровни ограничения для своей емкости.

Оптимальное определение размера и оптимизация производительности

Согласованно высокий уровень регулирования указывает на необходимость балансировки нагрузки в нескольких емкостях или увеличение размера SKU емкости. Для F SKU можно масштабировать ёмкость. Масштабирование между артикулами на противоположных сторонах границы F256 и F512 может привести к более медленному опыту.

Как определить, что происходит регулирование мощности

Когда оператор отклоняет запросы, вы видите конкретные коды ошибок и текст ошибок:

• Код состояния CapacityLimitExceeded
• Сообщение об ошибке Your organization's Fabric compute capacity has exceeded its limits. Try again later.
• Сообщение об ошибке Cannot load model due to reaching capacity limits

При перегрузке емкости администратор емкости может использовать приложение метрик емкости Fabric для подтверждения регулирования.

• Таблица системных событий на странице вычислений показывает журнал событий регулирования.
• Диаграммы ограничения на странице вычислений показывают, когда сглаженное использование превышает одно из пороговых значений ограничения.

Как остановить в случае ограничения скорости

Емкости самовосстановляются, поэтому вы всегда можете ждать, пока состояние перегрузки не закончится, прежде чем отправлять новые запросы.

Однако, чтобы быстрее прекратить троттлинг, можно использовать следующие стратегии.

При использовании емкостей SKU F для остановки регулирования:

• Временно увеличьте SKU. Увеличивая SKU, вы быстрее уменьшаете остатки, так как в каждой временной точке имеется больше резерва мощности.
• Сделайте паузу, а затем возобновите свою работу. Приостановка вычислительной мощности приводит к событию выставления счета за накопленное будущее использование емкости. Когда ресурсы запускаются или возобновляются, они не имеют будущей загрузки, что позволяет им сразу обрабатывать новые операции. Пауза может сделать контент, назначенный на эту мощность, недоступным, поэтому сначала убедитесь, что ёмкость не используется.
• Оплата перерасхода мощности также позволяет избежать ограничения пропускной способности; однако её стоимость в три раза выше обычной ставки за мощность. Для получения дополнительной информации см . раздел «Включить превышение вместимости».

При использовании емкостей SKU P, чтобы остановить регулирование:

• Включите автомасштабирование для емкости P.

Операции в полете не ограничиваются

Регулирование влияет только на операции, запрошенные после запуска регулирования емкости. Все операции, включая те, которые вы сдали до начала троттлинга, могут выполняться до завершения. Такое поведение обеспечивает завершение операций даже при резких скачках потребления CU.

Защита комбинированного ограничения

В Fabric одна операция часто активирует другие элементы или рабочие нагрузки для завершения. Примеров множество, типичным является просмотр отчета. Каждый визуальный элемент в отчете выполняет запрос к базовой семантической модели. Семантическая модель также может читать данные из OneLake для получения результата запроса. Каждый из этих запросов формирует цепочку.

Когда возникает цепочка вызовов, появляется риск комбинированного троттлинга, который возникает, когда Fabric применяет троттлинг несколько раз к одному и тому же запросу. В Fabric встроен механизм защиты от каскадного троттлинга, который снижает вероятность каскадного троттлинга. Рабочие нагрузки могут подключиться к этой защите.

Когда нагрузки поддерживают защиту от составного ограничения пропускной способности, Fabric применяет ограничение к запросу только один раз для каждой емкости, участвующей в цепочке. Решение о регулировании принимается при запуске запроса и применяется ко всем операциям в цепочке.

Если цепочка опирается на более чем одну ёмкость, то каждая емкость один раз применяет своё ограничение для первого запроса, полученного в цепочке.

Следующие возможности рабочей нагрузки поддерживают составное регулирование:

• Семантические модели, которые связываются с другими семантическими моделями с помощью DirectQuery.
• Запросы DAX из отчетов с разбивкой на страницы в семантические модели.

Поведение регулирования зависит от рабочих нагрузок Fabric

Хотя большинство продуктов Fabric следуют вышеупомянутым правилам регулирования, существуют некоторые исключения.

Например, потоки событий Fabric имеют множество операций, которые могут работать годами после запуска. Ограничивать новые операции с потоком событий не имеет смысла, поэтому Fabric сокращает объем ресурсов CU, выделяемых на поддержание потока в открытом состоянии, до тех пор, пока вычислительная емкость снова не придет в норму.

Ещё одно исключение — Real-Time Intelligence: её нельзя было бы назвать системой реального времени, если бы она выполняла операции с задержкой в 20 секунд. В результате Real-Time Аналитика не применяет первый этап регулирования с 20-секундной задержкой в 10 минут будущей емкости. Real-Time Интеллект ожидает, пока фаза отклонения не наступит через 60 минут будущей пропускной способности, чтобы начать регулирование. Такое поведение позволяет вам продолжать получать удовольствие от работы в реальном времени даже в периоды высокого спроса.

Аналогично, Fabric учитывает почти все операции в категории Warehouse как фоновый режим, чтобы воспользоваться 24-часовым сглаживанием активности и обеспечить максимально гибкие варианты использования. Классификация всех хранилищ данных как фон предотвращает пики использования CU от слишком быстрого запуска регулировки. Некоторые запросы могут вызывать цепочку операций, для которой Fabric применяет иные ограничения. Когда интерактивная операция запускает цепочку, включающую фоновую операцию, Fabric может ограничивать фоновую операцию как интерактивную.

Интерактивные и фоновые классификации для регулирования и сглаживания

Вы можете заметить, что Fabric иногда классифицирует операции как интерактивные и сглаживает их как фон, или наоборот. Это различие возникает потому, что системы регулирования нагрузки Fabric должны применять правила ограничения до того, как запрос начнёт выполняться.

Система управления пытается точно классифицировать операции в процессе отправки. Иногда, когда операция начинает выполняться, более подробная информация становится доступной, которая изменяет классификацию. В неоднозначных ситуациях система троттлинга по умолчанию классифицирует операции как фоновые, что отвечает вашим интересам.

Отслеживание превышений и отклонённых операций

Чтобы узнать, не перегружена ли ваша ёмкость, ознакомьтесь с таблицей использования в приложении Microsoft Fabric Capacity Metrics. Шип, который превышает грань, указывает на превышение. Для дальнейшего изучения превышения лимита, перейдите к странице с временными метками. Затем проверьте как интерактивные, так и фоновые операции, чтобы узнать, какие из них вызвали перерасходы.

Поскольку уровень использования свыше 100% не означает, что автоматически применяется троттлинг, используйте диаграмму троттлинга при оценке превышений. Оттуда откройте таблицу, показывающую количество минут до полного выполнения, диаграмму с добавлением, выгоранием и накопленным процентом и многое другое. Оценка времени для сгорания определяет, сколько времени потребуется, если в пределах текущей мощности больше не будет выполняться операций.

Чтобы просмотреть визуальную историю любого чрезмерного использования мощностей, включая данные о переносе, накоплении и сгорании данных, перейдите во вкладку «Перерасходы». Измените визуальную шкалу перерасходов на 10 минут, 60 минут и 24 часа.

В детализированном представлении приложения Microsoft Fabric Capacity Metrics показаны операции, которые Fabric отклонил во время ограничения пропускной способности. Информации об этих операциях мало, потому что они так и не начались. Вы можете увидеть продукт, пользователя, идентификатор операции и время запроса. Когда Fabric отклоняет запрос, конечные пользователи получают сообщение об ошибке с просьбой попробовать позже.

Оплачиваемые и неоплачиваемые вычисления в расчетах троттлинга

При просмотре использования емкости в приложении метрик емкости некоторые операции оплачиваются и другие не оплачиваются. При расчёте ограничения скорости учитываются только тарифицируемые операции. Некоторые возможности предварительного просмотра могут генерировать неоплачиваемые операции. Используйте не тарифицируемые операции для заблаговременного планирования, чтобы правильно рассчитать необходимую емкость к тому моменту, когда эти возможности предварительной версии станут платными.

Связанный контент

• Установите приложение Microsoft Fabric для метрик емкости для мониторинга емкостей Fabric.
• Как изменить размер емкости.
• Обзор событий емкости Fabric в Fabric Real-Time Hub