Поделиться через

Импорт API языковой модели

ПРИМЕНЯЕТСЯ КО ВСЕМ уровням управления API

Конечные точки языковой модели, совместимые с OpenAI, можно импортировать в экземпляр службы управления API в качестве API. Вы также можете импортировать языковые модели, которые несовместимы с OpenAI, в качестве посреднического API, который перенаправляют запросы непосредственно на внутренние конечные точки. Например, вы можете управлять LLM, размещенным на локальном узле или размещенным в поставщике вывода, отличном от служб ИИ Azure. Используйте политики шлюза ИИ и другие возможности в службе "Управление API", чтобы упростить интеграцию, улучшить наблюдаемость и повысить контроль над конечными точками модели.

Узнайте больше об управлении AI API в API Management.

Типы API языковой модели

Управление API поддерживает два типа API языковой модели для этого сценария. Выберите вариант, подходящий для развертывания модели. Параметр определяет, как клиенты вызывают API и как экземпляр управления API направляет запросы к службе ИИ.

  • Совместимая с OpenAI — конечные точки языковой модели, совместимые с API OpenAI. Примеры включают в себя некоторые модели, предоставляемые поставщиками инференции, такими как Hugging Face Text Generation Inference (TGI) и API Google Gemini.

    Для LLM, совместимой с OpenAI, API Management настраивает точку завершения чата.

  • Сквозное руководство . Другие конечные точки языковой модели, несовместимые с API OpenAI. Примеры включают модели, развернутые в Amazon Bedrock или других поставщиках.

    Управление API настраивает подстановочные знаки для распространенных http-команд. Клиенты могут добавлять пути к операциям подстановочных знаков, а система управления API передает запросы на бэкенд.

Предпосылки

  • Существующий экземпляр системы управления API. Создайте его, если у вас его нет.
  • Локальное развертывание языковой модели, не предоставляемой Azure, с конечной точкой API.

Импорт API языковой модели с помощью портала

При импорте API LLM на портале управление API автоматически настраивает:

  • Внутренний ресурс и политика set-backend-service, которые направляют запросы API к конечной точке LLM.
  • (необязательно) Доступ к серверной части LLM с помощью предоставленного ключа доступа. Ключ защищен как секретное именованное значение в службе управления API.
  • (необязательно) Политики, помогающие отслеживать API и управлять ими.

Чтобы импортировать API языковой модели в управление API, выполните следующие действия.

  1. Перейдите на портал Azure и откройте ваш экземпляр диспетчера API.

  2. В меню слева в разделе API выберите API>+ Добавить API.

  3. В разделе "Определение нового API" выберите API языковой модели.

    Снимок экрана: создание API, совместимого с OpenAI, на портале.

  4. На вкладке "Настройка API" :

    1. Введите отображаемое имя и необязательное описание для API.
    2. Введите URL-адрес конечной точки API LLM.
    3. При необходимости выберите один или несколько продуктов для связывания с API.
    4. В path добавьте путь, который используется экземпляром службы управления API для доступа к конечным точкам API LLM.
    5. В поле "Тип" выберите "Создать API OpenAI" или "Создать сквозной API". Дополнительные сведения см. в разделе "Типы API языковой модели ".
    6. В поле Access key введите имя заголовка авторизации и ключ API, используемые для доступа к API LLM, если это необходимо.
    7. Нажмите кнопку Далее.

    Снимок экрана: конфигурация API языковой модели на портале.

  5. На вкладке "Управление потреблением маркеров " при необходимости введите параметры или примите значения по умолчанию, определяющие следующие политики, которые помогают отслеживать API и управлять ими:

  6. На вкладке "Применить семантический кэширование" при необходимости введите параметры или примите значения по умолчанию, определяющие политики, которые помогают оптимизировать производительность и сократить задержку для API:

  7. В безопасности содержимого ИИ при необходимости введите параметры или примите значения по умолчанию, чтобы настроить службу безопасности содержимого ИИ Azure, чтобы заблокировать запросы с небезопасным содержимым:

  8. Выберите Review.

  9. После проверки параметров нажмите кнопку "Создать".

Управление API создает API и настраивает операции для конечных точек LLM. По умолчанию ДЛЯ API требуется подписка на управление API.

Тестирование API LLM

Чтобы убедиться, что API LLM работает должным образом, протестируйте его в консоли тестирования УПРАВЛЕНИЯ API.

  1. Выберите API, созданный на предыдущем шаге.

  2. Откройте вкладку Тест.

  3. Выберите операцию, совместимую с развертыванием модели. На странице отображаются поля для параметров и заголовков.

  4. При необходимости введите параметры и заголовки. В зависимости от операции может потребоваться настроить или обновить текст запроса.

    Замечание

    В тестовой консоли Управление API автоматически заполняет заголовок Ocp-Apim-Subscription-Key и настраивает ключ подписки встроенной подписки с полным доступом. Этот ключ обеспечивает доступ ко всем API в экземпляре управления API. При необходимости отобразите заголовок Ocp-Apim-Subscription-Key, выбрав значок "глаз" рядом с HTTP-запросом.

  5. Выберите Отправить.

    При успешном выполнении теста серверная часть возвращает успешный HTTP-код ответа и некоторые данные. Добавлен к ответу данные об использовании маркеров, помогающие отслеживать потребление маркеров языковой модели и управлять ими.

Связанный контент