Управление горизонтальным масштабированием кластера в Azure Data Explorer для удовлетворения изменяющегося спроса.

Правильное определение размера кластера критически важно для производительности Azure Data Explorer. Размер статического кластера может привести к недоиспользованию или чрезмерному использованию, и ни то, ни другое не является идеальным. Так как спрос на кластер не может быть предсказан с абсолютной точностью, лучше масштабировать кластер, добавлять и удалять ресурсы ресурсов ЦП с изменением спроса.

Существует два рабочих процесса для масштабирования кластера Azure Data Explorer:

• Горизонтальное масштабирование, также называемое масштабированием вверх и вниз.
• Вертикальное масштабирование, также называемое масштабированием вверх и вниз. В этой статье объясняется рабочий процесс горизонтального масштабирования.

Настройка горизонтального масштабирования

С помощью горизонтального масштабирования можно автоматически масштабировать число экземпляров на основе предопределенных правил и расписаний. Чтобы указать параметры автомасштабирования для кластера, выполните указанные ниже действия.

1. На портале Azure перейдите к ресурсу кластера Azure Data Explorer. В разделе Параметры выберите Горизонтально увеличить масштаб.

2. В окне горизонтального масштабирования выберите нужный метод автомасштабирования: масштабирование вручную, оптимизированное автомасштабирование или настраиваемое автомасштабирование.

Масштабирование вручную

В параметре масштабирования вручную кластер имеет статическую емкость, которая не изменяется автоматически. Выберите статическую емкость с помощью панели счетчика экземпляров . Масштабирование кластера остается в выбранном параметре до изменения.

Оптимизированное автомасштабирование (рекомендуемый вариант)

Оптимизированное автомасштабирование — это параметр по умолчанию во время создания кластера и рекомендуемый метод масштабирования. Этот метод оптимизирует производительность кластера и затраты, как показано ниже.

• Если кластер не используется, он масштабируется до снижения затрат, не влияя на необходимую производительность.
• Если кластер чрезмерно используется, он масштабируется для обеспечения оптимальной производительности.

Чтобы настроить оптимизированное автомасштабирование:

1. Выберите оптимизированное автомасштабирование.

2. Укажите минимальное и максимальное число экземпляров. Диапазон автомасштабирования кластера варьируется между этими значениями в зависимости от нагрузки.

3. Нажмите кнопку "Сохранить".

   

Оптимизированное автомасштабирование начинает работать. Вы можете просмотреть его действия в журнале активности кластера в Azure.

Логика оптимизированного автомасштабирования

Оптимизированное автомасштабирование использует прогнозную или реактивную логику. Прогнозная логика отслеживает шаблон использования кластера и при определении сезонности с высокой достоверностью управляет масштабированием кластера. В противном случае реактивная логика, отслеживающая фактическое использование кластера, используется для принятия решений о операциях масштабирования кластера на основе текущего уровня использования ресурсов.

Основными метриками для прогнозных и реактивных потоков являются:

• ЦП
• Коэффициент использования кэша
• Использование приема

Прогнозная и реактивная логика привязаны к границам размера кластера, минимальному и максимальному количеству экземпляров, как определено в оптимизированной конфигурации автомасштабирования. Частые операции масштабирования вверх и масштабирования вниз кластера нежелательны из-за их влияния на ресурсы кластера и требуемого времени для добавления или удаления экземпляров, а также перебалансировки горячего кэша на всех узлах.

Прогнозируемое автоматическое масштабирование

Прогнозная логика прогнозирует использование кластера на следующий день на основе его шаблона использования за последние несколько недель. Прогноз используется для создания расписания операций масштабирования или горизонтального масштабирования , чтобы заранее настроить размер кластера. Этот подход позволяет масштабированию кластера и повторной балансировке данных выполняться вовремя при изменении нагрузки. Эта логика особенно эффективна для сезонных шаблонов, таких как ежедневные или еженедельные пики использования.

Однако в сценариях, когда уникальный всплеск использования превышает прогноз, оптимизированное автомасштабирование возвращается к реактивной логике. При возникновении этой ситуации незапланированно выполняются операции уменьшения масштаба или увеличения масштаба на основе последнего уровня использования ресурсов.

Реактивное автомасштабирование

Горизонтальное масштабирование

Когда кластер приближается к состоянию высокой загрузки, выполняется операция масштабирования для обеспечения оптимальной производительности. Операция горизонтального масштабирования происходит, когда происходит по крайней мере одно из следующих условий:

• Загрузка кэша высока в течение часа
• ЦПУ работает на высокой нагрузке более часа
• Использование приема высоко в течение часа

Уменьшить масштаб

При недостаточном использовании кластера выполняется масштабирование, чтобы снизить затраты при сохранении оптимальной производительности. Несколько метрик подтверждают, что безопасно масштабировать кластер.

Чтобы убедиться, что перегрузка ресурсов отсутствует, перед выполнением масштабирования вычисляются следующие метрики:

• Использование кэша не является высоким
• ЦП ниже среднего
• Темпы поглощения ниже среднего
• Если используется потоковая загрузка, уровень её использования не является высоким.
• Метрика превышает определенный минимум, обрабатывается должным образом и своевременно, что указывает на то, что кластер является отзывчивым.
• Служба не ограничивает запросы.
• Количество неудачных запросов остается ниже определенного минимума.

Настраиваемое автомасштабирование

Хотя оптимизированное автомасштабирование является рекомендуемой функцией масштабирования, также поддерживается настраиваемое автомасштабирование Azure. С помощью настраиваемого автомасштабирования можно динамически масштабировать кластер на основе указанных метрик. Чтобы настроить настраиваемое автомасштабирование, выполните следующие действия.

1. В поле Имя параметра автомасштабирования введите имя, например внешнее масштабирование: использование кэша.

2. В режиме масштабирования выберите Масштаб на основе метрики. Этот режим обеспечивает динамическое масштабирование. Кроме того, можно выбрать масштабирование до определенного количества экземпляров.

3. Нажмите кнопку +Добавить правило.

4. В разделе правила масштабирования справа введите значения для каждого параметра.

   Criteria

   Setting	Описание и значение
   Агрегирование времени	Выберите критерии агрегирования, такие как Среднее.
   Имя метрики	Выберите метрику, на которой должна основываться операция масштабирования, например использование кэша.
   Статистика по временной гранулярности	Выберите между средним, минимальным, максимальным и суммой.
   Operator	Выберите соответствующий параметр, например "Больше" или "равно".
   Threshold	Выберите соответствующее значение. Например, для использования кэша 80 процентов — это хорошая отправная точка.
   Длительность (в минутах)	Выберите соответствующий период времени для учета прошлого при вычислении метрик. Начните с 10 минут по умолчанию.

   Действие

   Setting	Описание и значение
   Операция	Выберите подходящий параметр для увеличения или уменьшения ресурса.
   Число экземпляров	Выберите количество узлов или экземпляров, которые необходимо добавить или удалить, если выполняется условие метрики.
   Охлаждение (минуты)	Выберите соответствующий интервал времени для ожидания между операциями масштабирования. Начните с пяти минут.

5. Нажмите кнопку "Добавить".

6. В разделе "Ограничения экземпляра " слева введите значения для каждого параметра.

   Setting	Описание и значение
   Минимум	Число экземпляров, ниже которого кластер не масштабируется, независимо от уровня использования.
   максимальное	Максимальное число экземпляров, которое кластер не может превысить, независимо от уровня использования.
   По умолчанию	Число по умолчанию экземпляров. Этот параметр используется, если возникают проблемы с чтением метрик ресурсов.

7. Нажмите кнопку "Сохранить".

Теперь вы настроили горизонтальное масштабирование для кластера Azure Data Explorer. Добавьте другое правило для вертикального масштабирования. Если вам нужна помощь с проблемами масштабирования кластера, откройте запрос на поддержку на портале Azure.

Связанный контент

• Мониторинг производительности, работоспособности и использования Azure Data Explorer с помощью метрик
• Управление вертикальным масштабированием кластера для соответствующего размера кластера.