Политика регулирования Fabric

Торможение происходит, когда операции потребляют больше вычислительных единиц в секундах, чем позволяет SKU пропускной способности. Слишком много регулирования может привести к снижению производительности конечных пользователей. Клиент Microsoft Fabric может создавать несколько емкостей и назначать рабочие области определенной емкости для выставления счетов и размера.

Регулирование применяется на уровне емкости, что означает, что в то время как одна емкость или набор рабочих областей может снизить производительность из-за перегрузки, другие емкости могут продолжать работать нормально. В случаях, когда такие функции, как артефакты OneLake, создаются в одной емкости и используются другой, регулирование состояния потребляемой емкости определяет, регулируются ли вызовы артефакта.

Баланс между производительностью и надежностью

Структура предназначена для обеспечения быстрой производительности для своих клиентов. Задачи, которые могут занять несколько минут до завершения на других платформах, могут выполняться всего за несколько секунд в Fabric. Большие операции могут выполняться в любое время без необходимости тщательного планирования, так как вычислительные ресурсы для этих операций распределяются в течение длительного периода времени, не замедляя операцию. Fabric позволяет это с помощью встроенного бурстинга и сглаживания. Они позволяют самостоятельно управлять и самовосстановляться, когда временные пики использования в противном случае могут привести к сбою или замедлению работы других систем.

Ускорение дисков

Чтобы обеспечить высокую производительность, Fabric использует всплеск производительности, позволяя операциям выполняться с максимальной скоростью. Ускорение позволяет операциям временно использовать больше вычислительной мощности, чем выделено для SKU емкости. Из-за ускорения пользователи быстро получают результаты, не ожидая. Ускорение также позволяет меньшей емкости выполнять большие операции, которые обычно требуют более дорогой емкости.

Сглаживание

Чтобы избежать наказания пользователей, когда операции выигрывают от скачкообразной нагрузки, Fabric сглаживает или усредняет использование вычислительных единиц операции на протяжении более длительного периода времени. Такое поведение гарантирует, что пользователи могут постоянно быстро пользоваться производительностью без регулирования.

Сглаживание распределяет потребление CU на будущие временные точки. Временные точки в Fabric длятся 30 секунд. В ближайшие 24 часа есть 2880 точек времени. Структура автоматически управляет объемом использования единиц ЦС в каждой точке времени.

Тип использования операции определяет количество точек времени, используемых для сглаживания. Узнайте об операциях Fabric.

• Интерактивные операции сглаживаются не менее чем за пять минут и не более 64 минут в зависимости от того, сколько используется CU.
• Фоновые операции распределяются на 24-часовой период, поскольку они обычно имеют длительное время выполнения и большое потребление CU.

Из-за сглаживания только часть использования вычислительных единиц (CU) для операции применяется к любой отдельной точке времени, что снижает общее ограничение. Сглаженное использование CU накапливается при выполнении операций. Плавное использование оплачивается будущими мощностями, которые являются вычислительными единицами, доступными в будущем, поскольку мощность используется непрерывно.

Совместная работа функций разгрузки и выравнивания облегчает работу для пользователей, использующих мощность. Например, пользователи обычно тратят время на планирование заданий и распространяют их в течение дня. При сглаживании вычислительные затраты для фоновых заданий распределяются равномерно в течение 24 часов. Это означает, что запланированные задания могут выполняться одновременно без каких-либо пиков, которые в противном случае блокируют запуск заданий. В то же время пользователи могут наслаждаться постоянно быстрой производительностью, не ожидая завершения медленных заданий или тратить время на управление расписаниями заданий.

Триггеры регулирования и этапы регулирования

Несмотря на то, что емкости имеют встроенное сглаживание, которое снижает влияние пиков использования, все еще можно перегружать емкость, выполняя слишком много операций.

Емкость автоматически ограничивает новые операции при перегрузке. Регулирование выполняется в прогрессивных шагах, чтобы свести к минимуму влияние на важные задачи, такие как обновления данных.

Даже когда производительность превышает 100% загрузки, Fabric не сразу применяет ограничение. Вместо этого емкость обеспечивает защиту от превышения, которая позволяет использовать 10 минут будущих объемов без ограничения. Это поведение обеспечивает ограниченную встроенную защиту от всплесков, обеспечивая пользователям стабильно быструю производительность без сбоев.

Регулирование начинается, когда мощность исчерпывает все свои ресурсы CU на следующие 10 минут. Первый этап регулирования применяет 20-секундную задержку к новым интерактивным операциям. Второй этап регулирования отклоняет новые интерактивные операции, когда емкость использует все ресурсы CU в течение следующего часа. На этом этапе фоновые операции могут запускаться и выполняться. Третий этап регулирования отклонений всех новых запросов, интерактивных и фоновых данных, когда емкость использует все доступные ресурсы CU в течение следующих 24 часов. Емкость продолжает ограничивать запросы до тех пор, пока потребленные единицы CU не будут погашены.

В таблице перечислены механизмы запуска дросселирования и этапы.

Пример ограничений сглаживания и регулирования

Ниже приведен пример того, как сглаживание работает для одной фоновой операции, которая потребляла 1 CUHr (его использование было эквивалентно 1 CU в течение 1 часа). Фоновые операции равномерно распределяются в течение 24 часов. Вклад фоновой операции в любой точке времени — #CUHrs для операции / # CUHrs на уровне SKU. Для F2 это задание добавит 1 CUHr / 48CUhrs = ~2,1% к каждому временному интервалу. Влияние на 10-минутные и 60-минутные ограничения регулирования составляет ~2,1%.

Ниже приведены подробные сведения, поддерживающие пример:

1 CUHr = 3600 единиц CUs (1 CU * 60 минут в час * 60 секунд в минуту)

Каждый момент времени составляет 30 секунд. В течение 24 часов существует 280 точек времени (24 часа * 60 минут * 2 точек времени в минуту).

Так как 3600 единиц ЦС сглаживаются в течение 24 часов, задание вносит 3600 ЦС/2880 точек времени в каждую 30-секундную точку времени. Таким образом, он вносит 1,25 ЦС в точку времени.

Процент ограничения в течение 10 минут рассчитывается на основе общего количества единиц обслуживания (CU), доступных в течение следующих 10 минут времени работы.

Емкость F2 имеет 2 CU для каждой секунды (или 2 ЦС). В каждый момент времени F2 имеет 2 ЦС * 30 секунд = 60 ЦС вычислительных ресурсов.

Вклад фонового задания в любую отдельную точку времени составляет 1,25 CUs/60 CUs = ~2.1% отдельной точки времени.

В течение 10 минут F2 выполняет вычисления, составляя 2 CU * 60 секунд * 10 минут = 1200 CU.

Часть фонового задания, сглаженная на следующие 10 минут емкости, составляет 1,25 ЦС * 2 точки времени в минуту * 10 минут = 25 ЦС.

Таким образом, 10-минутный процент ограничения мощности составляет 25 CUs / 1,200 CUs = ~2,1%.

Аналогичным образом, 60-минутное ограничение процентного воздействия фонового задания также составляет ~2,1%.

Несмотря на то, что фоновая операция потребила больше единиц CU, чем доступно в течение следующего 10-минутного интервала времени (она потребила в шесть раз больше), емкость F2 не ограничена, так как общий объем CU сглаживается в течение 24 часов. Из-за сглаживания к любой отдельной точке времени применяется только небольшая часть потребляемых единиц ЦС.

Перерасход, перенос и использование

Если операции используют больше емкости, чем поддерживает SKU в один момент времени, вычисляется превышение. Переплаты вычисляются после применения сглаживания. Если имеются превышения, выходящие за пределы допустимого 10-минутного периода регулирования, они становятся переносными единицами вычисления.

Защита от перебора гарантирует, что емкость не будет регулироваться, пока не будет заполнено 10-минутное окно регулирования. Он предназначен для уменьшения частоты интерактивных задержек из-за временных пиков использования.

Переносимые расчетные единицы применяются к каждой последующей точке времени. Если точка времени не заполнена, то неиспользуемые ЦС уменьшают количество переносимых ЦС. Сокращение называется сожжением.

Регулирование продолжается до тех пор, пока неиспользуемая емкость не погасит все перенесенные единицы вычисления.

Мониторинг возможностей для дросселирования

Администраторы емкости могут настроить оповещения по электронной почте, чтобы получать уведомления, когда емкость потребляет 100% выделенных ресурсов CU. Администраторы также могут использовать приложение для анализа метрик емкости, чтобы просмотреть уровни ограничения для своей емкости.

Оптимальное определение размера и оптимизация производительности

Согласованно высокий уровень регулирования указывает на необходимость балансировки нагрузки в нескольких емкостях или увеличение размера SKU емкости. При использовании SKU F вы можете вручную увеличить и уменьшить размер SKU в любое время в настройках администратора, что позволяет решать проблемы с ограничением производительности при необходимости.

Как определить, что происходит регулирование мощности

Если емкость отклоняет запросы, пользователи видят определенные коды ошибок и текст ошибки:

1. Код состояния CapacityLimitExceeded
2. Сообщение об ошибке Your organization's Fabric compute capacity has excceded its limits. Try again later.
3. Сообщение об ошибке Cannot load model due to reaching capacity limits

При перегрузке емкости администратор емкости может использовать приложение метрик емкости Fabric для подтверждения регулирования.

1. Таблица системных событий на странице вычислений показывает журнал событий регулирования.
2. Диаграммы ограничения на странице вычислений показывают, когда сглаженное использование превышает одно из пороговых значений ограничения.

Как остановить в случае ограничения скорости

Емкости самовосстановляются, поэтому вы всегда можете ждать, пока состояние перегрузки не закончится, прежде чем отправлять новые запросы.

Тем не менее, чтобы быстрее остановить ограничение скорости, можно использовать стратегии, перечисленные ниже.

При использовании емкостей SKU F для остановки регулирования:

• Временно увеличьте SKU. Увеличивая SKU, вы быстрее уменьшаете остатки, так как в каждой временной точке имеется больше резерва мощности.
• Приостановить и возобновить производительность. Приостановка вычислительной мощности приводит к событию выставления счета за накопленное будущее использование емкости. Когда ресурсы запускаются или возобновляются, они не имеют будущей загрузки, что позволяет им сразу обрабатывать новые операции.

При использовании емкостей SKU P, чтобы остановить регулирование:

• Включите автомасштабирование для емкости P.

Операции в полете не регулируются

Регулирование влияет только на операции, запрошенные после запуска регулирования емкости. Все операции, включая длительные операции, отправленные до начала регулирования, могут выполняться до завершения. Это позволяет гарантировать завершение операций даже во время всплесков использования cu.

Защита комбинированного ограничения

В Fabric одна операция часто активирует другие элементы или рабочие нагрузки для завершения. Примеров множество, типичным является просмотр отчета. Каждый визуальный элемент в отчете выполняет запрос к базовой семантической модели. Семантическая модель также может считывать форму данных OneLake, чтобы предоставить результат запроса. Каждый из этих запросов формирует цепочку.

При наличии цепочки вызовов существует риск комплексного ограничения скорости, что происходит, когда ограничение применяется к одному запросу более одного раза. Структура имеет встроенную защиту от регулирования составных соединений, которая снижает вероятность возникновения сложного регулирования. Рабочие нагрузки могут выбрать использование этой защиты.

Если рабочие нагрузки поддерживают защиту от комплексного ограничения скорости, запрос подвергается регулированию только один раз для каждой емкости, которая участвует в цепочке. Решение о регулировании принимается при запуске запроса и применяется ко всем операциям в цепочке.

Если цепочка зависит от нескольких емкостей, каждая емкость применяет ограничение один раз для первого запроса, который она получает в цепочке.

Следующие возможности рабочей нагрузки поддерживают составное регулирование:

• Семантические модели, которые подключаются к другим семантическим моделям с помощью Direct Query.
• Запросы DAX из отчетов с разбивкой на страницы в семантические модели.

Поведение регулирования зависит от рабочих нагрузок Fabric

Хотя большинство продуктов Fabric следуют ранее упомянутым правилам регулирования, существуют некоторые исключения.

Например, потоки событий Fabric имеют множество операций, которые могут выполняться в течение многих лет после запуска. Регулирование новых операций потока событий не имеет смысла, поэтому вместо этого объем ресурсов CU, выделенных для поддержания открытого потока, уменьшается до тех пор, пока емкость не будет в порядке.

Другим исключением является аналитика в режиме реального времени, которая не будет в режиме реального времени, если операции были отложены на 20 секунд. В результате Real-Time Аналитика не применяет первый этап регулирования с 20-секундной задержкой в 10 минут будущей емкости. Real-Time Интеллект ожидает, пока фаза отклонения не наступит через 60 минут будущей пропускной способности, чтобы начать регулирование. Такое поведение гарантирует, что пользователи могут продолжать пользоваться производительностью в режиме реального времени даже в периоды высокого спроса.

Аналогичным образом, почти все операции в категории хранилища сообщаются в качестве фона , чтобы воспользоваться преимуществами 24-часового сглаживания действий, чтобы обеспечить наиболее гибкие шаблоны использования. Классификация всех хранилищ данных в качестве фона предотвращает пики использования cu от активации регулирования слишком быстро. Некоторые запросы могут активировать цепочку операций, которые регулируются по-разному. Когда интерактивная операция запускает цепочку, содержащую фоновую операцию, фоновая операция может стать предметом регулирования в виде интерактивной операции.

Интерактивные и фоновые классификации для регулирования и сглаживания

Некоторые администраторы могут заметить, что операции иногда классифицируются как интерактивные и сглаживаются как фоновые или наоборот. Это различие происходит из-за того, что системы регулирования Структуры должны применять правила регулирования перед началом выполнения запроса.

Система управления пытается точно классифицировать операции в процессе отправки. Иногда, когда операция начинает выполняться, более подробная информация становится доступной, которая изменяет классификацию. В неоднозначных сценариях система управления пропускной способностью возвращается к классификации операций как фоновые, что соответствует интересам пользователя.

Отслеживание избыточных операций и отклонений

Если емкость перегружена, просмотрите диаграмму использования в приложении метрик емкости Microsoft Fabric. Шип, который превышает грань, указывает на превышение. Для дальнейшего изучения превышения лимита, перейдите к странице с временными метками. Затем можно просмотреть интерактивные и фоновые операции и определить, какие из них отвечают за превышение лимитов.

Так как использование, превышающее 100 %, не означает автоматическое регулирование, необходимо использовать диаграмму регулирования при оценке превышения. Оттуда можно открыть таблицу, показывающую минуты на сгорание, диаграмму с добавлением, сгоранием и совокупным процентом и многое другое. Оценка времени для сгорания определяет, сколько времени потребуется, если в пределах текущей мощности больше не будет выполняться операций.

Чтобы просмотреть визуальный журнал любой избыточной емкости, включая переноску, накопительные и сгоревшие данные об использовании, перейдите на вкладку Overages. Вы можете изменить масштаб визуальных элементов превышения, чтобы отобразить 10 минут, 60 минут и 24 часа.

Детализация приложения метрик емкости Microsoft Fabric позволяет администраторам видеть операции, отклоненные во время события регулирования. Существует ограниченная информация об этих операциях, так как они никогда не были разрешены начать. Администратор может просмотреть продукт, пользователь, идентификатор операции и время отправки запроса. При отклонении запроса конечные пользователи получают сообщение об ошибке, которое просит их повторить попытку позже.

Оплачиваемые и неподлежащие оплате вычисления

При просмотре использования емкости в приложении метрик емкости некоторые операции оплачиваются и другие не оплачиваются. Только оплачиваемые операции включаются в расчеты регулирования. Предварительные возможности могут создавать неоплачиваемые операции. Используйте неоплачиваемые операции для планирования заранее, чтобы правильно оценить емкость на тот момент, когда эти предварительные версии функций становятся оплачиваемыми.

Связанный контент

• Установите приложение метрик емкости Microsoft Fabric для мониторинга емкостей Fabric.
• Как изменить размер емкости.