Использование модельного маршрутизатора для Microsoft Foundry

Маршрутизатор моделей для Microsoft Foundry — это разворачиваемая модель ИИ-чата, которая в режиме реального времени выбирает лучшую большую языковую модель (LLM) для ответа на запрос. В ней используются различные существующие модели для обеспечения высокой производительности и экономии затрат на вычислительные ресурсы в одном развертывании модели. Дополнительные сведения о работе маршрутизатора модели, его преимуществах и ограничениях см. в руководстве по основным понятиям маршрутизатора модели.

Используйте модельный маршрутизатор с помощью API завершения чата так же, как и одну базовую модель, например GPT-5. Выполните те же действия, что и в руководстве по завершениям чата.

Поддерживаемые базовые модели

2025-11-18 С этой версией модель маршрутизатора добавляет девять новых моделей, включая Claude от Anthropic, DeepSeek, Llama и Grok, обеспечивая поддержку всего 18 моделей, доступных для маршрутизации ваших промпов.

• ¹Требуется регистрация.
• ²Поддержка маршрутизаторов определенных моделей доступна в предварительной версии.
• ³Поддержка моделей роутеров доступна в предварительной версии. Требуется развертывание модели для использования с маршрутизатором-образцом.

Развернуть модель маршрутизатора

Маршрутизатор-модель упакован как одна модель Foundry, которую вы развертываете. Начните с действий, описанных в руководстве по развертыванию resource.

В каталоге моделей найдите model-router в списке моделей и выберите его. Выберите параметры по умолчанию для режима маршрутизации balanced и маршрута между всеми поддерживаемыми моделями. Чтобы включить дополнительные параметры конфигурации, выберите настраиваемые параметры.

Выбор режима маршрутизации

Используйте раскрывающийся список "Режим маршрутизации" , чтобы выбрать профиль маршрутизации. Это задает логику маршрутизации для развертывания.

Когда следует использовать каждый режим:

• Баланс (по умолчанию): большинство рабочих нагрузок. Оптимизирует затраты при сохранении качества.
• Качество: критически важные задачи, такие как юридическая проверка, медицинские сводки или сложные рассуждения.
• Стоимость: высокообъемные рабочие нагрузки, чувствительные к бюджету, такие как классификация содержимого или простые вопросы и ответы.

Выберите подмножество модели

Последняя версия маршрутизатора модели поддерживает пользовательские подмножества: можно указать, какие базовые модели следует включить в решения маршрутизации. Это обеспечивает больший контроль над затратами, соответствием и производительностью.

В области развертывания модели маршрутизатора выберите Маршрут к подмножеству моделей. Затем выберите базовые модели, которые необходимо включить.

Новые модели, представленные позже, исключаются по умолчанию до явного добавления.

Тестовая модель маршрутизатора с использованием API завершений

Вы можете использовать маршрутизатор моделей через API chat completions так же, как и другие модели чата OpenAI. Установите для параметра model название развертывания нашего маршрутизатора модели, а для параметра messages — сообщения, которые вы хотите отправить в модель.

Тестовая модель маршрутизатора на тестовой площадке

На портале Foundry перейдите к развертыванию маршрутизатора модели на странице Models + endpoints и выберите его, чтобы открыть игровую площадку модели. На игровой площадке введите сообщения и просмотрите ответы модели. Каждый ответ показывает, какая базовая модель выбрана маршрутизатором.

Подключить маршрутизатор определенной модели к агенту Foundry

Если вы создали агент ИИ в Foundry, можно подключить развертывание маршрутизатора модели для использования в качестве базовой модели агента. Выберите его в раскрывающемся меню модели на игровой площадке агента. Агент будет иметь все средства и инструкции, которые вы настроили для него, но базовая модель, обрабатывающая ответы, будет выбрана маршрутизатором модели.

Формат вывода

Ответ JSON, полученный от маршрутизатора модели, идентичен ответу стандартного API завершения чата. Обратите внимание, что поле показывает, "model" какая базовая модель была выбрана для ответа на запрос.

Следующий пример ответа был создан с помощью версии 2025-11-18API:

{
  "choices": [
    {
      "content_filter_results": {
        "hate": {
          "filtered": "False",
          "severity": "safe"
        },
        "protected_material_code": {
          "detected": "False",
          "filtered": "False"
        },
        "protected_material_text": {
          "detected": "False",
          "filtered": "False"
        },
        "self_harm": {
          "filtered": "False",
          "severity": "safe"
        },
        "sexual": {
          "filtered": "False",
          "severity": "safe"
        },
        "violence": {
          "filtered": "False",
          "severity": "safe"
        }
      },
      "finish_reason": "stop",
      "index": 0,
      "logprobs": "None",
      "message": {
        "content": "I'm doing well, thank you! How can I assist you today?",
        "refusal": "None",
        "role": "assistant"
      }
    }
  ],
  "created": 1745308617,
  "id": "xxxx-yyyy-zzzz",
  "model": "gpt-4.1-nano-2025-04-14",
  "object": "chat.completion",
  "prompt_filter_results": [
    {
      "content_filter_results": {
        "hate": {
          "filtered": "False",
          "severity": "safe"
        },
        "jailbreak": {
          "detected": "False",
          "filtered": "False"
        },
        "self_harm": {
          "filtered": "False",
          "severity": "safe"
        },
        "sexual": {
          "filtered": "False",
          "severity": "safe"
        },
        "violence": {
          "filtered": "False",
          "severity": "safe"
        }
      },
      "prompt_index": 0
    }
  ],
  "system_fingerprint": "xxxx",
  "usage": {
    "completion_tokens": 15,
    "completion_tokens_details": {
      "accepted_prediction_tokens": 0,
      "audio_tokens": 0,
      "reasoning_tokens": 0,
      "rejected_prediction_tokens": 0
    },
    "prompt_tokens": 21,
    "prompt_tokens_details": {
      "audio_tokens": 0,
      "cached_tokens": 0
    },
    "total_tokens": 36
  }
}

Мониторинг метрик модели маршрутизатора

Мониторинг производительности

Отслеживайте производительность развертывания модели маршрутизатора в Azure Monitor (AzMon) в портале Azure.

1. Перейдите на страницу Monitoring>Метрики для ресурса OpenAI Azure в Azure portal.
2. Фильтруйте по имени развертывания маршрутизатора модели.
3. При необходимости разделите метрики по базовым моделям.

Мониторинг затрат

Вы можете контролировать расходы на маршрутизатор модели, которые составляют сумму затрат, связанных с базовыми моделями.

1. Перейдите на страницу Resource Management ->Cost analysis на странице Azure portal.
2. При необходимости отфильтруйте по Azure ресурсу.
3. Затем фильтруйте по имени развертывания: фильтруйте по тегу, выберите " Развертывание " в качестве типа тега, а затем выберите имя развертывания маршрутизатора модели в качестве значения.

Устранение неполадок модели маршрутизатора

Распространенные проблемы

Коды ошибок

Коды ошибок API и устранение неполадок см. в справочнике Azure REST API OpenAI.

Ресурсы

Следующие репозитории с открытым кодом демонстрируют маршрутизатор модели в разных сценариях. Каждый репозиторий находится на сайте GitHub — учитесь, форкайте и расширяйте, чтобы ускорить своё обучение. Для большинства примеров требуется наличие развернутого маршрутизатора моделей; смотрите статью "Развертывание маршрутизатора моделей", чтобы начать работу.

Дальнейшие шаги

• Концепции моделирования маршрутизатора - Узнайте, как работают режимы маршрутизации
• Квоты и ограничения — ограничения по скорости для модельного маршрутизатора
• Создайте агента — используйте маршрутизатор модели с агентами Foundry