Использование моделей, подключенных к администратору, в облачных оценках

Модели, подключаемые администратором, — это модели, размещенные за шлюзом ИИ предприятия, например Azure API Management или шлюзом модели ИИ, не относящимся к Azure, которые администратор подключает к вашему проекту Foundry. Вы можете использовать модель, подключенную к администратору, для сценариев оценки облака, которые принимают развертывание модели.

Foundry определяет конечную точку подключения и аутентификацию, включая ключ API, управляемую идентификацию или аутентификацию OAuth 2.0. Запрос оценки ссылается на подключение и развертывание, а не конечную точку шлюза или ее учетные данные.

Important

Облачная оценка поддерживает только модели, подключённые администратором, если подключённое развертывание поддерживает OpenAI Chat Completions API.

Note

Поддержка модели, подключенной к администратору в облачной оценке, доступна в предварительной версии и может быть недоступна во всех регионах.

Необходимые условия

  • Проект Foundry.
  • Роль пользователя Foundry в проекте Foundry .
  • Администратор создал в вашем ресурсе Foundry подключение Azure API Management или шлюза модели ИИ стороннего поставщика и добавил модель на вкладке Управление>Сведения о ресурсе>Модели, подключенные администратором. Инструкции по настройке см. в разделе Подключение собственной модели к службе Foundry Agent Service.
  • Имя подключения и имя развертывания для модели, поддерживающей API завершения чата OpenAI.

Указать модель, подключённую администратором

Используйте следующий формат в любом месте поддерживаемого сценария оценки, который принимает развертывание модели:

<connection-name>/<deployment-name>

В следующей таблице показаны общие поверхности оценки и поле, которое принимает ссылку:

Сценарий Поле
Оценщик с поддержкой ИИ (судья) initialization_parameters.model
Целевой объект модели target.model
Моделирование бесед item_generation_params.model

Использование модели, подключенной к администратору, в качестве модели судьи оценки

Задайте initialization_parameters.model при настройке оценщика с поддержкой ИИ. В этом примере в качестве судьи для оценки согласованности используется модель, подключенная к администратору:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

Используйте модель, подключённую администратором, в качестве целевой

Настройте target.model так, чтобы каждый входной параметр оценки отправлялся в модель, подключенную к администратору:

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

Используйте этот целевой объект с потоком оценки целевой модели, описанным в разделе "Выполнение вычислений в облаке".

Использование других сценариев оценки

Другие сценарии на основе моделей в облаке при выполнении вычислений с помощью пакета SDK для Microsoft Foundry работают аналогично с моделями, подключенными к администратору. Во всех случаях, когда сценарий поддерживает развертывание поддерживаемой модели, замените имя развертывания на <connection-name>/<deployment-name>. Например, имитация диалога принимает эту ссылку в item_generation_params.model.

Не изменяйте конечную точку проекта Foundry и не добавляйте конечную точку шлюза или учетные данные в запрос оценки. Foundry определяет эти значения из подключения к модели, связанного с администратором.

Note

Модель, подключенная к администратору, недоступна для создания искусственных данных.

Связанные материалы

  • Last updated on