Импорт API Microsoft Foundry

ПРИМЕНЯЕТСЯ КО ВСЕМ уровням управления API

Конечные точки модели искусственного интеллекта, развернутые в Microsoft Foundry, можно импортировать в экземпляр управления API в качестве API. Используйте политики шлюза ИИ и другие возможности в службе "Управление API", чтобы упростить интеграцию, улучшить наблюдаемость и повысить контроль над конечными точками модели.

Чтобы узнать больше об управлении ИИ API в системе API Management, см. следующую статью.

Параметры совместимости клиента

Управление API поддерживает следующие параметры совместимости клиентов для API-интерфейсов ИИ из Microsoft Foundry. При импорте API с помощью мастера выберите вариант, подходящий для развертывания модели. Параметр определяет, как клиенты вызывают API и как экземпляр управления API направляет запросы к средству Foundry.

  • Azure OpenAI: управление Azure OpenAI в развертываниях модели Microsoft Foundry.

    Клиенты вызывают развертывание в конечной точке /openai , например /openai/deployments/my-deployment/chat/completions. Путь запроса содержит имя развертывания. Используйте этот параметр, если инструмент Foundry включает только развертывания моделей Azure OpenAI.

  • Azure AI: управление конечными точками модели в Microsoft Foundry, предоставляемыми с помощью API вывода модели Azure.

    Клиенты вызывают развертывание в конечной точке /models , например /my-model/models/chat/completions. Текст запроса содержит имя развертывания. Используйте этот параметр, если требуется гибкость переключения между моделями, предоставляемыми через API вывода моделей Azure ИИ и развернутые в Azure OpenAI в модели Foundry.

  • Azure OpenAI версии 1 - Управляйте Azure OpenAI в развертываниях модели Microsoft Foundry, используя Azure OpenAI API версии 1 API.

    Клиенты вызывают развертывание в конечной точке модели Azure OpenAI версии 1, например openai/v1/my-model/chat/completions. Текст запроса содержит имя развертывания.

Предпосылки

  • Существующий экземпляр системы управления API. Создайте его, если у вас его нет.

  • Средство Foundry в вашей подписке с одной или несколькими развернутыми моделями. Примеры включают модели, развернутые в Microsoft Foundry или Azure OpenAI.

Импорт API Microsoft Foundry с помощью портала

Выполните следующие действия, чтобы импортировать API ИИ в управление API.

При импорте API Управление API автоматически настраивает:

  • Операции для каждой конечной точки REST API.
  • Назначаемое системой удостоверение с необходимыми разрешениями для доступа к развертыванию средства Foundry.
  • Ресурс backend и политика set-backend-service, которые направляют запросы API к Azure AI Services.
  • Проверка подлинности в серверной части с помощью управляемого удостоверения, назначаемого системой экземпляра.
  • (необязательно) Политики, помогающие отслеживать API и управлять ими.

Чтобы импортировать API Microsoft Foundry в управление API, выполните следующие действия.

  1. В Azure portal откройте экземпляр API Management.

  2. В меню слева в разделе API выберите API>+ Добавить API.

  3. В разделе Create из ресурса Azure выберите Microsoft Foundry.

    Снимок экрана: создание API, совместимого с OpenAI, на портале.

  4. На вкладке "Выбор службы ИИ" :

    1. Выберите подписку , в которой нужно найти средства Foundry. Чтобы получить сведения о развертываниях модели в службе, выберите ссылку развертывания рядом с именем службы. Скриншот развертываний службы искусственного интеллекта в портале.
    2. Выберите инструмент Foundry.
    3. Нажмите кнопку Далее.

  5. На вкладке "Настройка API" :

    1. Введите отображаемое имя и необязательное описание для API.

    2. В базовом пути введите путь, который используется экземпляром службы управления API для доступа к конечной точке развертывания.

    3. При необходимости выберите один или несколько продуктов для связывания с API.

    4. В совместимости клиентов выберите один из следующих вариантов на основе типов клиента, которые вы планируете поддерживать. Дополнительные сведения см. в параметрах совместимости клиентов .

      • Azure OpenAI — выберите этот параметр, если клиентам требуется только доступ к Azure OpenAI в развертываниях моделей Microsoft Foundry.
      • Azure AI — выберите этот параметр, если клиентам требуется доступ к другим моделям в Microsoft Foundry.
      • Azure OpenAI версии 1, выберите этот параметр, если вы хотите использовать Azure OpenAI API версии 1 с развертываниями модели Foundry.

    5. Нажмите кнопку Далее.

      Снимок экрана: конфигурация API Microsoft Foundry на портале.

  6. На вкладке "Управление потреблением маркеров " при необходимости введите параметры или примите значения по умолчанию, определяющие следующие политики, которые помогают отслеживать API и управлять ими:

  7. На вкладке "Применить семантический кэширование " при необходимости введите параметры или примите значения по умолчанию, определяющие политики для оптимизации производительности и уменьшения задержки для API:

  8. На вкладке "Безопасность содержимого ИИ " при необходимости введите параметры или примите значения по умолчанию для настройки службы безопасности содержимого ИИ для блокировки запросов с небезопасным содержимым:

  9. Выберите Review.

  10. После проверки параметров на портале нажмите кнопку "Создать".

Тестирование API ИИ

Чтобы убедиться, что API ИИ работает должным образом, протестируйте его в консоли тестирования управления API.

  1. Выберите API, созданный на предыдущем шаге.

  2. Откройте вкладку Тест.

  3. Выберите операцию, совместимую с развертыванием модели. На странице отображаются поля для параметров и заголовков.

  4. При необходимости введите параметры и заголовки. В зависимости от операции может потребоваться настроить или обновить текст запроса. Ниже приведен базовый пример текста запроса для операции завершения чата:

    {
  "model": "any",
  "messages": [
    {
      "role": "user",
      "content": "Help me plan a trip to Paris",
      "max_tokens": 100
    }
  ]
}

    Замечание

    В тестовой консоли API Management автоматически добавляет заголовок Ocp-Apim-Subscription-Key и задает ключ подписки для встроенной подписки с полным доступом. Этот ключ предоставляет доступ к каждому API в экземпляре службы управления API. Чтобы при необходимости отобразить заголовок Ocp-Apim-Subscription-Key, выберите значок "глаз" рядом с HTTP-запросом.

  5. Выберите Отправить.

    При успешном выполнении теста серверная часть возвращает успешный HTTP-код ответа и некоторые данные. Ответ включает данные об использовании маркеров, помогающие отслеживать потребление маркеров языковой модели и управлять ими.

Связанный контент

  • Last updated on