Импорт API языковой модели

ПРИМЕНЯЕТСЯ КО ВСЕМ уровням управления API

Конечные точки языковой модели, совместимые с OpenAI, можно импортировать в экземпляр службы управления API или импортировать не совместимые модели в виде сквозных API. Например, управляйте локально размещёнными LLM или теми, которые размещаются у поставщиков услуг вывода, отличных от средств Foundry. Используйте политики шлюза ИИ и другие возможности управления API, чтобы упростить интеграцию, повысить наблюдаемость и повысить контроль над конечными точками модели.

Узнайте больше об управлении AI API в API Management.

• возможности шлюза AI в Azure API Management

Типы API языковой модели

Управление API поддерживает два типа API языковой модели. Выберите вариант, соответствующий развертыванию модели, который определяет, как клиенты вызывают API и как запросы получают маршрут к службе ИИ.

• Совместимость с OpenAI — конечные точки языковой модели, совместимые с API OpenAI. К примерам относятся Hugging Face Text Generation Inference (TGI) и Google Gemini API.

  Управление API настраивает конечную точку завершения чата.

• Passthrough - Конечные точки языковой модели несовместимы с API OpenAI. Примеры включают модели, развернутые в Amazon Bedrock или других поставщиках.

  Управление API настраивает подстановочные знаки для распространенных http-команд. Клиенты могут добавлять пути к операциям с подстановочными знаками, а управление API передает запросы в серверную часть.

Предпосылки

• Существующий экземпляр системы управления API. Создайте его, если у вас его нет.
• Развертывание самостоятельной или не предоставленной Azure языковой модели с конечной точкой API.

Импорт API языковой модели с помощью портала

Импорт API LLM автоматически настраивает процесс:

• Серверный ресурс и политика серверной службы, которая направляет запросы к конечной точке LLM.
• (необязательно) Доступ с помощью ключа доступа (защищенного в качестве именованного значения секрета).
• (необязательно) Политики для мониторинга API и управления ими.

Чтобы импортировать API языковой модели, выполните следующие действия.

1. В портале Azure перейдите к экземпляру управления API.

2. В меню слева в разделе API выберите API>+ Добавить API.

3. В разделе "Определение нового API" выберите API языковой модели.

   

4. На вкладке "Настройка API" :

   1. Введите отображаемое имя и описание (необязательно).
   2. Введите URL-адрес API LLM.
   3. Выберите один или несколько продуктов , чтобы связаться с API (необязательно).
   4. В Path добавьте путь для доступа к API LLM.
   5. Выберите Создать OpenAI API или Создать сквозной API. См. типы API языковой модели.
   6. Введите имя заголовка авторизации и ключ API (при необходимости).
   7. Нажмите кнопку Далее.

   

5. На вкладке "Управление потреблением маркеров " введите параметры или примите значения по умолчанию для следующих политик:

   • Управление потреблением токенов
   • Отслеживание использования маркеров

6. На вкладке "Применить семантический кэширование" введите параметры или примите значения по умолчанию для политики для оптимизации производительности и уменьшения задержки:

   • Включение семантического кэширования ответов

7. На вкладке введите параметры или примите значения по умолчанию, чтобы настроить Azure AI Content Safety для блокировки небезопасного содержимого:

   • Принудительное применение проверок безопасности содержимого для запросов LLM

8. Выберите Review.

9. После проверки нажмите кнопку "Создать".

Управление API создает API и настраивает операции для конечных точек LLM. По умолчанию ДЛЯ API требуется подписка на управление API.

Тестирование API LLM

Проверьте API LLM в тестовой консоли.

1. Выберите созданный API.

2. Откройте вкладку Тест.

3. Выберите операцию, совместимую с развертыванием модели. Отображаются поля для параметров и заголовков.

4. Введите параметры и заголовки. В зависимости от операции настройте или обновите текст запроса по мере необходимости.

   Замечание

   В консоли тестирования автоматически добавляется заголовок Ocp-Apim-Subscription-Key (с помощью встроенной подписки с полным доступом), который предоставляет доступ ко всем API. Чтобы отобразить его, щелкните значок "глаз" рядом с HTTP-запросом.

5. Выберите Отправить.

   После успешного выполнения теста бэкенд возвращает данные, включая метрики использования токенов для мониторинга потребления языковой модели.

Связанный контент

• возможности шлюза AI в Azure API Management