Масштабирование на основе целевого показателя

Масштабирование на основе целевого объекта обеспечивает быструю и интуитивно понятную модель масштабирования для клиентов и в настоящее время поддерживается для этих расширений привязки:

• Apache Kafka
• Azure Cosmos DB
• Центры событий Azure
• Хранилище очередей Azure
• Служебная шина Azure (очередь и темы)

Масштабирование на основе цели заменяет предыдущую модель добавочного масштабирования Azure Functions по умолчанию для данных типов расширений. Инкрементальное масштабирование добавляет или удаляет максимум одного рабочего на каждый новый уровень частоты экземпляров, со сложными решениями о том, когда масштабировать. В отличие от этого, масштабирование на основе целевых объектов позволяет масштабировать четыре экземпляра одновременно, а решение масштабирования основано на простом целевом уравнении:

В этом уравнении длина источника событий относится к числу событий, которые должны обрабатываться. Значения целевых выполнений на один экземпляр по умолчанию определяются пакетами SDK, используемыми расширениями Azure Functions. Для работы масштабирования на основе целевых целей не требуется вносить никаких изменений.

Рекомендации

При использовании масштабирования на основе целевого объекта применяются следующие рекомендации.

• Масштабирование на основе целевого назначения по умолчанию включено для приложений-функций в плане потребления, плане потребления Flex и планах Elastic Premium. Масштабирование на основе событий не поддерживается в выделенных планах (Служба приложений).
• Масштабирование на основе целевого объекта по умолчанию включено начиная с версии 4.19.0 среды выполнения Функций.
• При использовании масштабирования на основе целевого объекта ограничения масштабирования по-прежнему учитываются. Дополнительные сведения см. в разделе "Ограничение масштабирования".
• Чтобы добиться максимально точного масштабирования на основе метрик, используйте только одну целевую активируемую функцию для каждого приложения-функции. Кроме того, следует рассмотреть возможность работы в плане потребления Flex, который предлагает масштабирование для каждой функции.
• Если несколько функций в одном приложении-функции запрашивают горизонтальное масштабирование одновременно, сумма между этими функциями используется для определения изменения в нужных экземплярах. Функции, запрашивающие увеличение масштаба, имеют преимущество над функциями, запрашивающими уменьшение масштаба.
• При наличии запросов на уменьшение масштаба без запросов на увеличение масштаба используется максимальное значение уменьшения масштаба.

Отказ

Масштабирование, основанное на показателях, по умолчанию включено для функций-приложений, размещенных в плане потребления или в планах Premium. Чтобы отключить масштабирование на основе целевого объекта и вернуться к добавочному масштабированию, добавьте следующий параметр приложения в приложение-функцию:

Настройка масштабирования на основе целевого показателя

Вы можете сделать поведение масштабирования более или менее агрессивным на основе рабочей нагрузки вашего приложения, изменив целевое количество выполнений на экземпляр. Каждое расширение имеет разные параметры, которые можно использовать для задания целевых запусков на экземпляр.

В этой таблице суммированы значения host.json, используемые для значений выполнения на экземпляр, и значения по умолчанию:

^* Значение по умолчанию maxEventBatchSize изменилось в версии 6.0.0Microsoft.Azure.WebJobs.Extensions.EventHubs пакета. В более ранних версиях это значение равно 10.

Для некоторых расширений привязки конфигурация целевой частоты выполнения на экземпляр устанавливается с помощью атрибута функции:

Дополнительные сведения см. в примерах конфигураций поддерживаемых расширений.

План "Премиум" с включенным мониторингом масштабирования среды выполнения

Если мониторинг масштабирования среды выполнения включен, расширения сами обрабатывают динамическое масштабирование, так как контроллер масштабирования не имеет доступа к службам, защищенным виртуальной сетью. После включения мониторинга масштабирования среды выполнения необходимо обновить пакеты расширений до следующих минимальных версий, чтобы разблокировать дополнительные функции масштабирования на основе целевых объектов:

Поддержка динамического параллелизма

Целевое масштабирование ускоряет процесс и использует значения по умолчанию для выполнений на целевой экземпляр. При использовании служебной шины, очередей хранилища или Kafka также можно включить динамический параллелизм. В этой конфигурации значение целевой эффективности на экземпляр определяется автоматически функцией динамической параллельности. Он начинается с ограниченной параллельности и определяет лучшую настройку со временем.

Поддерживаемые расширения

Способ настройки масштабирования на основе целевого объекта в файле host.json зависит от конкретного типа расширения. В этом разделе приведены сведения о конфигурации расширений, которые в настоящее время поддерживают масштабирование на основе целевого объекта.

Очереди и разделы служебной шины Azure

Расширение шины службы поддерживает три модели выполнения, определяемые атрибутами IsBatched и IsSessionsEnabled триггера шины службы. Значение по умолчанию для IsBatched и IsSessionsEnabled имеет значение false.

Одноразовая обработка отправки

В этой модели каждый вызов функции обрабатывает одно сообщение. Параметр maxConcurrentCalls управляет запланированным количеством выполнений на экземпляр. Конкретная настройка зависит от версии расширения Service Bus.

{
    "version": "2.0",
    "extensions": {
        "serviceBus": {
            "maxConcurrentCalls": 16
        }
    }
}

{
    "version": "2.0",
    "extensions": {
        "serviceBus": {
            "messageHandlerOptions": {
                "maxConcurrentCalls": 16
            }
        }
    }
}

Единая обработка диспетчера (на основе сеансов)

В этой модели каждый вызов функции обрабатывает одно сообщение. Однако в зависимости от количества активных сеансов для топика или очереди Service Bus, каждый экземпляр арендует один или несколько сеансов. Конкретный параметр зависит от версии расширения Service Bus.

{
    "version": "2.0",
    "extensions": {
        "serviceBus": {
            "maxConcurrentSessions": 8
        }
    }
}

{
    "version": "2.0",
    "extensions": {
        "serviceBus": {
            "sessionHandlerOptions": {
                "maxConcurrentSessions": 2000
            }
        }
    }
}

Пакетная обработка

В этой модели каждый вызов функции обрабатывает пакет сообщений. Конкретный параметр зависит от версии расширения Служебной шины.

{
    "version": "2.0",
    "extensions": {
        "serviceBus": {
            "maxMessageBatchSize": 1000
        }
    }
}

{
    "version": "2.0",
    "extensions": {
        "serviceBus": {
            "batchOptions": {
                "maxMessageCount": 1000
            }
        }
    }
}

Event Hubs

Для Центров событий Azure масштабирование функций Azure происходит на основе количества необработанных событий, которые должны быть распределены по всем разделам в концентраторе событий в пределах списка допустимого количества экземпляров. По умолчанию атрибуты, используемые для целевых выполнений для каждого экземпляраhost.json, — это maxEventBatchSize и maxBatchSize. Однако если вы решили точно настроить масштабирование на основе целевых параметров, можно определить отдельный параметр targetUnprocessedEventThreshold, который позволяет задать целевое количество выполнений на экземпляр без изменения параметров пакетной обработки. Если targetUnprocessedEventThreshold задано, общее количество необработанных событий делится на это значение, чтобы определить количество экземпляров, которое затем округляется до числа рабочих экземпляров, создающих сбалансированное распределение секций.

Масштабирование поведения и стабильности

Для Event Hubs частое масштабирование внутрь и наружу может активировать перебалансировку разделов, что приводит к задержкам обработки и увеличению латентности. Чтобы устранить эту проблему, выполните указанные ниже действия.

• Платформа использует предопределенный список допустимых количеств работников для принятия решений по масштабированию.
• Платформа гарантирует, что масштабирование стабильно и намеренно, избегая нарушений назначений секций.
• Если требуемое количество работников отсутствует в допустимом списке, например 17, система автоматически выбирает следующее наименьшее допустимое число, которое в данном случае равно 32. Кроме того, чтобы предотвратить быстрое повторное масштабирование, запросы масштабирования регулируются в течение 3 минут после последнего масштабирования. Эта задержка помогает сократить ненужные перебалансирование и способствует поддержанию эффективности пропускной способности.

Допустимое количество экземпляров для Event Hubs

Для каждого количества разделов в Центрах событий мы вычисляем соответствующий список допустимой численности экземпляров, чтобы обеспечить оптимальное распределение и эффективное масштабирование. Эти числа выбираются для соответствия требованиям разбиения и параллелизма.

Эти предопределенные количества помогают обеспечить равномерное распределение экземпляров между разделами с целью минимизации простоя и перегрузки рабочих.

Параметры Центров событий

Конкретный параметр зависит от версии расширения Центров событий.

{
    "version": "2.0",
    "extensions": {
        "eventHubs": {
            "maxEventBatchSize" : 100
        }
    }
}

{
    "version": "2.0",
    "extensions": {
        "eventHubs": {
            "targetUnprocessedEventThreshold": 153
        }
    }
}

{
    "version": "2.0",
    "extensions": {
        "eventHubs": {
            "eventProcessorOptions": {
                "maxBatchSize": 10
            }
        }
    }
}

{
    "version": "2.0",
    "extensions": {
        "eventHubs": {
            "targetUnprocessedEventThreshold": 23
        }
    }
}

Очереди хранилища

Для расширения хранилища версии 2.x+ измените host.json параметр batchSize , чтобы задать целевое количество выполнений на экземпляр:

{
    "version": "2.0",
    "extensions": {
        "queues": {
            "batchSize": 16
        }
    }
}

Azure Cosmos DB

Azure Cosmos DB использует атрибут уровня функции. MaxItemsPerInvocation Способ установки этого атрибута уровня функции зависит от языка функции.

namespace CosmosDBSamplesV2
{
    public static class CosmosTrigger
    {
        [FunctionName("CosmosTrigger")]
        public static void Run([CosmosDBTrigger(
            databaseName: "ToDoItems",
            collectionName: "Items",
            MaxItemsPerInvocation: 100,
            ConnectionStringSetting = "CosmosDBConnection",
            LeaseCollectionName = "leases",
            CreateLeaseCollectionIfNotExists = true)]IReadOnlyList<Document> documents,
            ILogger log)
        {
            if (documents != null && documents.Count > 0)
            {
                log.LogInformation($"Documents modified: {documents.Count}");
                log.LogInformation($"First document Id: {documents[0].Id}");
            }
        }
    }
}

{
    "scriptFile": "main.py",
    "bindings": [
        {
          "type": "cosmosDBTrigger",
          "maxItemsPerInvocation": 100,
          "connection": "MyCosmosDb",
          "leaseContainerName": "leases",
          "containerName": "collectionName",
          "databaseName": "databaseName",
          "leaseDatabaseName": "databaseName",
          "createLeaseContainerIfNotExists": false,
          "startFromBeginning": false,
          "name": "input"
        }
    ]
}

{
  "bindings": [
    {
      "type": "cosmosDBTrigger",
      "maxItemsPerInvocation": 100,
      "connection": "MyCosmosDb",
      "leaseContainerName": "leases",
      "containerName": "collectionName",
      "databaseName": "databaseName",
      "leaseDatabaseName": "databaseName",
      "createLeaseContainerIfNotExists": false,
      "startFromBeginning": false,
      "name": "input"
    }
  ]
}

Apache Kafka

Расширение Apache Kafka использует атрибут LagThresholdуровня функции. Для Kafka количество требуемых экземпляров вычисляется на основе общей задержки потребителей, разделенной на параметр LagThreshold. Для заданной задержки снижение порогового значения задержки увеличивает количество требуемых экземпляров.

Способ установки этого атрибута уровня функции зависит от языка функции. В этом примере задано пороговое значение 100.

[FunctionName("KafkaTrigger")]
public static void Run(
    [KafkaTrigger("BrokerList",
                  "topic",
                  Username = "$ConnectionString",
                  Password = "%EventHubConnectionString%",
                  Protocol = BrokerProtocol.SaslSsl,
                  AuthenticationMode = BrokerAuthenticationMode.Plain,
                  ConsumerGroup = "$Default",
                  LagThreshold = 100)] KafkaEventData<string> kevent, ILogger log)
{            
    log.LogInformation($"C# Kafka trigger function processed a message: {kevent.Value}");
}

public class KafkaTriggerMany {
    @FunctionName("KafkaTriggerMany")
    public void runMany(
            @KafkaTrigger(
                name = "kafkaTriggerMany",
                topic = "topic",  
                brokerList="%BrokerList%",
                consumerGroup="$Default", 
                username = "$ConnectionString", 
                password = "EventHubConnectionString",
                authenticationMode = BrokerAuthenticationMode.PLAIN,
                protocol = BrokerProtocol.SASLSSL,
                LagThreshold = 100,
                // sslCaLocation = "confluent_cloud_cacert.pem", // Enable this line for windows.
                cardinality = Cardinality.MANY,
                dataType = "string"
             ) String[] kafkaEvents,
            final ExecutionContext context) {
            for (String kevent: kafkaEvents) {
                context.getLogger().info(kevent);
            }

{
      "scriptFile": "main.py",
      "bindings": [
        {
          "type": "kafkaTrigger",
          "name": "kevent",
          "topic": "topic",
          "brokerList": "%BrokerList%",
          "username": "$ConnectionString",
          "password": "EventHubConnectionString",
          "consumerGroup" : "functions",
          "protocol": "saslSsl",
          "authenticationMode": "plain",
          "lagThreshold": "100"
        }
    ]
}

{
    "bindings": [
      {
            "type": "kafkaTrigger",
            "name": "kafkaEvent",
            "direction": "in",
            "protocol" : "SASLSSL",
            "password" : "EventHubConnectionString",
            "dataType" : "string",
            "topic" : "topic",
            "authenticationMode" : "PLAIN",
            "consumerGroup" : "$Default",
            "username" : "$ConnectionString",
            "brokerList" : "%BrokerList%",
            "sslCaLocation": "confluent_cloud_cacert.pem",
            "lagThreshold": "100"
        }
    ]
}

Следующие шаги

Дополнительные сведения см. в следующих разделах:

• Повышение производительности и надежности Функции Azure
• Функции Azure надежная обработка событий