Получение кэшированных ответов запросов API большой языковой модели

ОБЛАСТЬ ПРИМЕНЕНИЯ: все уровни Управление API

llm-semantic-cache-lookup Используйте политику для поиска ответов на запросы API больших языковых моделей (LLM) из настроенного внешнего кэша на основе векторного расположения запроса к предыдущим запросам и заданного порогового значения оценки. Кэширование ответов снижает требования к пропускной способности и обработке, введенные для api LLM серверной части, и снижает задержку, воспринимаемую потребителями API.

Примечание.

Примечание.

Задайте элементы политики и дочерние элементы в порядке, указанном в правиле политики. Узнайте, как устанавливать или изменять политики службы управления API.

Поддерживаемые API модели

Эта политика работает с API LLM, добавленными в управление API, которые соответствуют одной из следующих схем API:

  • Api завершения чата OpenAI или API ответов
  • API сообщений Anthropic (в настоящее время поддерживается на уровнях управления API версии 2)
  • Google Vertex AI API

Правило политики

<llm-semantic-cache-lookup
    score-threshold="score threshold to return cached response"
    embeddings-backend-id ="backend entity ID for embeddings API"
    embeddings-backend-auth ="system-assigned"             
    ignore-system-messages="true | false"      
    max-message-count="count" >
    <vary-by>"expression to partition caching"</vary-by>
</llm-semantic-cache-lookup>

Атрибуты

Атрибут Описание Обязательное поле По умолчанию.
пороговое значение оценки Пороговое значение оценки определяет, насколько тесно входящие запросы должны соответствовать кэшированному запросу, чтобы вернуть его сохраненный ответ. Значение диапазонов от 0.0 до 1.0. Ниже значения требуют более высокого семантического сходства для совпадения. Подробнее. Да Н/П
embeddings-backend-id Серверная часть Идентификатор вызова API внедрения. Да Н/П
embeddings-backend-auth Проверка подлинности, используемая для внедрения серверной части API. Да. Должен иметь значениеsystem-assigned. Н/П
ignore-system-messages Логическое значение. Если задано значение true (рекомендуется), удалите системные сообщения из запроса завершения чата перед оценкой сходства кэша. нет неправда
max-message-count Если задано, количество оставшихся диалоговых сообщений, после которых кэширование пропускается. нет Н/П

Элементы

Имя Описание Обязательное поле
разными по Пользовательское выражение, определенное во время выполнения, кэширование значений которого секционирует. Если добавляются несколько vary-by элементов, значения объединяются для создания уникальной комбинации. нет

Использование

Примечания об использовании

  • Эту политику можно использовать только один раз в разделе политики.
  • Точно настройте значение score-threshold на основе приложения, чтобы обеспечить правильную чувствительность, чтобы определить, когда возвращать кэшированные ответы для запросов. Начните с низкого значения, например 0,05, и настройте для оптимизации соотношения попаданий кэша в пропущенные значения.
  • Порог оценки выше 0,2 может привести к несоответствию кэша. Рекомендуется использовать более низкое значение для конфиденциальных вариантов использования.
  • Управление доступом между пользователями к записям кэша путем vary-by указания с определенными идентификаторами пользователей или групп пользователей.
  • Модель внедрения должна иметь достаточно емкости и достаточный размер контекста для размещения тома запроса и запросов.
  • Рассмотрите возможность добавления политики безопасности llm-content-safety с экраном запроса для защиты от атак с запросами.
  • Мы рекомендуем настроить политику ограничения скорости (или политику ограничения скорости по ключу ) сразу после поиска кэша. Это помогает сохранить серверную службу от перегрузки, если кэш недоступен.

Примеры

Пример с соответствующей политикой llm-semantic-cache-store

В следующем примере показано, как использовать llm-semantic-cache-lookup политику вместе с llm-semantic-cache-store политикой для получения семантически аналогичных кэшированных ответов с пороговым значением оценки сходства 0,05. Кэшированные значения секционируются по идентификатору подписки вызывающего объекта.

Примечание.

Добавьте политику ограничения скорости (или политику ограничения скорости по ключу ) после поиска кэша, чтобы ограничить количество вызовов и предотвратить перегрузку серверной службы в случае, если кэш недоступен.

<policies>
    <inbound>
        <base />
        <llm-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="llm-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </llm-semantic-cache-lookup>
        <rate-limit calls="10" renewal-period="60" />
    </inbound>
    <outbound>
        <llm-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Связанный контент

Дополнительные сведения о работе с политиками см. в нижеуказанных статьях.

  • Last updated on