Настройка проекта ИИ для использования моделей Microsoft Foundry (классические)

Применяется только к:Портал Foundry (классический). Эта статья недоступна для нового портала Foundry. Дополнительные сведения о новом портале.

Если у вас уже есть проект ИИ в Microsoft Foundry, каталог моделей развертывает модели из поставщиков партнерских моделей в качестве автономных конечных точек в проекте по умолчанию. Каждое развертывание модели имеет собственный набор URI и учетных данных для доступа к нему. С другой стороны, модели Azure OpenAI развертываются в ресурсе Foundry или в ресурсе Azure OpenAI в Foundry Models.

Это поведение можно изменить и развернуть оба типа моделей в ресурсах Foundry. После настройки развертывание моделей в качестве бессерверных развертываний API происходит с подключенным ресурсом Foundry вместо самого проекта, предоставляя вам один набор конечных точек и учетных данных для доступа ко всем моделям, развернутым в Foundry. Вы можете управлять моделями из Azure OpenAI и у поставщиков партнерских моделей таким же образом.

Кроме того, развертывание моделей в Foundry Models обеспечивает дополнительные преимущества:

Из этой статьи вы узнаете, как настроить проект для использования развертываний Foundry Models.

Необходимые условия

Чтобы завершить работу с этим руководством, вам потребуется:

• Подписка Azure. Если вы используете модели GitHub, вы можете обновить интерфейс и создать подписку Azure в процессе. Дополнительные сведения см. в разделе Обновление из моделей GitHub в модели Foundry.

• Ресурс Foundry. Дополнительные сведения см. в статье "Создание первого ресурса Foundry".

• Проект и центр Foundry. Дополнительные сведения см. в статье "Создание и управление центром Foundry".

  Совет

  Когда центр искусственного интеллекта развернут, вместе с ним создается ресурс Foundry, и два ресурса подключаются. Чтобы увидеть, какой ресурс подключен к вашему проекту, перейдите в портал Foundry>, затем в центр управления>подключёнными ресурсами и найдите подключения типа Foundry Tools.

Настройка проекта для использования моделей Foundry

Чтобы настроить проект для использования возможности Foundry Models в Foundry, выполните следующие действия.

1. На целевой странице проекта выберите центр управления в нижней части бокового меню. Определите ресурс Foundry, подключенный к проекту.

2. Если ресурс не указан, в вашем AI Hub нет подключенного ресурса Foundry. Создайте новое подключение.

   1. Выберите +Создать подключение, а затем выберите Microsoft Foundry на плитках.

   2. В окне найдите существующий ресурс в подписке и выберите "Добавить подключение".

   3. Новое подключение добавлено в ваш центр.

3. Вернитесь на целевую страницу проекта.

4. В разделе Включенные возможности убедитесь, что выбран Azure Вывод ИИ. URI конечной точки вывода модели ИИ Azure отображается вместе с учётными данными для доступа к ней.

   

   Совет

   Каждый ресурс Foundry имеет единую конечную точку вывода модели ИИ Azure, которую можно использовать для доступа к любому развертыванию модели на данном ресурсе. Одна конечная точка обслуживает несколько моделей в зависимости от того, какие из них настроены. Чтобы узнать, как работает конечная точка, см. конечную точку инференса Azure OpenAI.

5. Запишите URL-адрес конечной точки и учетные данные.

Создайте развертывание модели в Foundry Models

Для каждой модели, которую вы хотите развернуть в разделе "Модели Foundry", выполните следующие действия.

1. Перейдите в каталог моделей на портале Foundry.

2. Прокрутите страницу до нужной модели и выберите ее.

   

3. Вы можете просмотреть сведения о модели в карточке модели.

4. Выберите "Использовать эту модель".

5. Для поставщиков моделей, требующих дополнительных условий контракта, вам будет предложено принять эти условия, выбрав "Согласиться" и продолжить.

   

6. Вы можете настроить параметры развертывания в настоящее время. По умолчанию развертыванию присваивается имя модели, которую вы развертываете. Имя развертывания используется в параметре model чтобы запрос мог направляться именно к этому развертыванию модели. Он позволяет настраивать определенные имена для моделей при присоединении определенных конфигураций. Например, o1-preview-safe для модели с строгим фильтром содержимого.

7. Мы автоматически выбираем подключение Foundry в зависимости от проекта, так как вы включили функцию Deploy для Azure службы вывода моделей ИИ. Выберите "Настроить", чтобы изменить подключение в зависимости от ваших потребностей. Если вы развертываете в типе развертывания API без сервера , модели должны быть доступны в регионе ресурса Foundry.

   

8. Выберите Развернуть.

9. После завершения развертывания вы увидите URL-адрес конечной точки и учетные данные, чтобы получить доступ к модели. Обратите внимание, что теперь указанный URL-адрес и учетные данные совпадают с целевой страницей проекта для конечной точки Foundry Models.

10. Чтобы просмотреть все модели, доступные в ресурсе, перейдите в раздел "Модели + конечные точки " и найдите группу для подключения к ресурсу:

    

Обновление кода с помощью новой конечной точки

После настройки ресурса Foundry, его можно начать использовать в коде. Вам нужен URL-адрес конечной точки и ключ для него, который можно найти в разделе "Обзор ".

Вы можете использовать любой из поддерживаемых пакетов SDK для получения прогнозов из конечной точки. Следующие пакеты SDK официально поддерживаются:

• OpenAI SDK
• пакет SDK Azure OpenAI
• пакет инференции ИИ Azure
• пакет проектов Azure ИИ

Дополнительные сведения и примеры см. в разделе Поддерживаемые языки программирования пакета SDK вывода Azure AI. В следующем примере показано, как использовать пакет вывода ИИ Azure с недавно развернутой моделью:

pip install azure-ai-inference

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

client = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZURE_INFERENCE_CREDENTIAL"]),
)

npm install @azure-rest/ai-inference

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZURE_INFERENCE_CREDENTIAL)
);

dotnet add package Azure.AI.Inference --prerelease

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("https://<resource>.services.ai.azure.com/models")
    .buildClient();

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

Создайте первое завершение чата:

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.body.choices[0].message.content)

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Используйте параметр model="<deployment-name> для маршрутизации запроса в это развертывание. Развертывания работают как псевдоним заданной модели в определенных конфигурациях. Сведения о том, как модели Foundry маршрутизируют развертывания, см. в статье «Маршрутизация».

Переход из бессерверных развертываний API в модели Foundry

Хотя проект настроен для использования моделей Foundry, существующие развертывания моделей продолжают существовать в проекте в качестве бессерверных развертываний API. Эти развертывания не перемещаются для вас. Таким образом, можно постепенно обновить существующий код, ссылающийся на предыдущие развертывания модели. Чтобы приступить к перемещению развертываний модели, рекомендуется выполнить следующий рабочий процесс:

1. Повторно создайте развертывание модели в Foundry Models. Это развертывание модели доступно в точке доступа Foundry Models.

2. Обновите код, чтобы использовать новую конечную точку.

3. Очистите проект, удалив развертывание бессерверного API.

Обновление кода с помощью новой конечной точки

После развертывания моделей в разделе Foundry можно обновить код, чтобы использовать конечную точку Foundry Models. Основное различие между развертыванием бессерверных API и моделью Foundry Model находится в URL-адресе конечной точки и параметре модели. Хотя в развертываниях API без сервера есть набор URI и ключ для каждого развертывания модели, Модели Foundry имеют только один для всех из них.

В следующей таблице перечислены внесенные изменения.

Очистка существующих развертываний бессерверных API из проекта

После рефакторинга кода может потребоваться удалить существующие бессерверные развертывания API внутри проекта (если таковые есть).

Для каждой модели, развернутой в качестве бессерверных развертываний API, выполните следующие действия.

1. Перейдите на портал Foundry.

2. Выберите модели и конечные точки, а затем перейдите на вкладку "Конечные точки службы ".

3. Определите конечные точки развертывания API типа бессерверный и выберите ту, которую хотите удалить.

4. Выберите параметр Delete.

   Предупреждение

   Эту операцию нельзя отменить. Убедитесь, что конечная точка в настоящее время не используется любым другим пользователем или фрагментом кода.

5. Подтвердите операцию, нажав кнопку "Удалить".

6. Если вы создали подключение API бессерверного развертывания к этой конечной точке из других проектов, такие подключения не удаляются и продолжают указывать на несуществующую конечную точку. Удалите любое из этих подключений для предотвращения ошибок.

Ограничения

При настройке проекта для использования моделей Foundry следует учитывать следующие ограничения.

• Доступны только модели, поддерживающие бессерверные развертывания API для развертывания в модели Foundry. Модели, требующие квоты вычислений из подписки (управляемые вычисления), включая пользовательские модели, могут быть развернуты только в рамках данного проекта как управляемые онлайн-конечные точки и остаются доступными с помощью собственного набора URI конечной точки и учетных данных.
• Модели, доступные как развертывания бессерверных API и управляемые вычислительные предложения, по умолчанию развертываются в модели Foundry в рамках ресурсов Foundry. Портал Foundry не предлагает способ развертывания их в управляемых онлайн-конечных точках. Для выполнения развертывания необходимо отключить функцию, упомянутую в Настройка проекта для использования моделей Foundry или использовать Azure CLI/Azure ML SDK/шаблоны ARM.

Следующий шаг