Поделиться через


Краткое руководство. Начало работы с Azure AI Foundry

В этом кратком руководстве мы проведём вас через настройку локальной среды разработки с помощью Azure AI Foundry SDK. Мы напишите запрос, запустите его как часть кода приложения, трассируйте выполняемые вызовы LLM и выполните базовую оценку выходных данных LLM.

Подсказка

В остальной части этой статьи показано, как использовать центральный проект. Выберите проект Foundry в верхней части этой статьи, если вы хотите использовать проект Foundry. Какой тип проекта мне нужен?

Предпосылки

  • Подписка Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.
  • Проект на основе хаба. Если вы не знакомы с Azure AI Foundry и не имеете центрального проекта, выберите проект Foundry в верхней части этой статьи, чтобы использовать проект Foundry.

Настройка среды разработки

  1. Настройка среды разработки

  2. Установите эти пакеты.

    pip install azure-ai-inference azure-identity azure-ai-projects==1.0.0b10
    

    Замечание

    Для разных типов проектов azure-ai-projects требуются разные версии пакета. Чтобы избежать конфликтов, создайте отдельные среды Python: используйте версию 1.0.0b10 для проектов на основе концентратора и последнюю версию для проектов Foundry.

Развертывание модели

Подсказка

Так как вы можете настроить левую панель на портале Azure AI Foundry, вы можете увидеть различные элементы, отличные от указанных в этих шагах. Если вы не видите, что вы ищете, выберите ... Подробнее в нижней части левой панели.

  1. Войдите в Azure AI Foundry.

  2. Выберите центральный проект. Если у вас нет центрального проекта, выберите проект Foundry в верхней части этой статьи, чтобы использовать проект Foundry.

  3. Выберите каталог моделей в левой области.

  4. Выберите модель gpt-4o-mini в списке моделей. Вы можете использовать панель поиска, чтобы найти ее.

  5. На странице сведений о модели выберите "Развернуть".

    Снимок экрана: страница сведений о модели с кнопкой для развертывания модели.

  6. Оставьте имя развертывания по умолчанию. Выберите «Развернуть».

  7. После развертывания модели нажмите кнопку "Открыть на детской площадке ", чтобы протестировать модель.

Создание приложения чата

Создайте файл с именем chat.py. Скопируйте и вставьте в него следующий код.

from azure.ai.projects import AIProjectClient
from azure.identity import DefaultAzureCredential

project_connection_string = "<your-connection-string-goes-here>"

project = AIProjectClient.from_connection_string(
    conn_str=project_connection_string, credential=DefaultAzureCredential()
)

chat = project.inference.get_chat_completions_client()
response = chat.complete(
    model="gpt-4o-mini",
    messages=[
        {
            "role": "system",
            "content": "You are an AI assistant that speaks like a techno punk rocker from 2350. Be cool but not too cool. Ya dig?",
        },
        {"role": "user", "content": "Hey, can you help me with my taxes? I'm a freelancer."},
    ],
)

print(response.choices[0].message.content)

Вставка строка подключения

Для вызова Azure OpenAI в Azure AI Foundry Models из вашего кода требуется строка подключения вашего проекта.

Найдите строку подключения в созданном вами проекте Azure AI Foundry в песочнице Azure AI Foundry Quickstart. Откройте проект, а затем найдите строку подключения на странице Обзор.

Снимок экрана: страница обзора проекта и расположение строка подключения.

Скопируйте строка подключения и замените <your-connection-string-goes-here> его в файле chat.py.

Запуск скрипта чата

Запустите скрипт, чтобы просмотреть ответ модели.

python chat.py

Создание запроса из ввода пользователем и шаблона запроса

Сценарий использует жестко закодированные входные и выходные сообщения. В реальном приложении, которое вы принимаете входные данные из клиентского приложения, создайте системное сообщение с внутренними инструкциями в модели, а затем вызовите LLM со всеми сообщениями.

Давайте изменим скрипт, чтобы получить входные данные из клиентского приложения и создать системное сообщение с помощью шаблона запроса.

  1. Удалите последнюю строку скрипта, который печатает ответ.

  2. Теперь определите get_chat_response функцию, которая принимает сообщения и контекст, создает системное сообщение с помощью шаблона запроса и вызывает модель. Добавьте этот код в существующий файл chat.py :

    from azure.ai.inference.prompts import PromptTemplate
    
    
    def get_chat_response(messages, context):
        # create a prompt template from an inline string (using mustache syntax)
        prompt_template = PromptTemplate.from_string(
            prompt_template="""
            system:
            You are an AI assistant that speaks like a techno punk rocker from 2350. Be cool but not too cool. Ya dig? Refer to the user by their first name, try to work their last name into a pun.
    
            The user's first name is {{first_name}} and their last name is {{last_name}}.
            """
        )
    
        # generate system message from the template, passing in the context as variables
        system_message = prompt_template.create_messages(data=context)
    
        # add the prompt messages to the user messages
        return chat.complete(
            model="gpt-4o-mini",
            messages=system_message + messages,
            temperature=1,
            frequency_penalty=0.5,
            presence_penalty=0.5,
        )
    

    Замечание

    Шаблон запроса использует формат усы.

    Функцию get_chat_response можно легко добавить в качестве маршрута к приложению FastAPI или Flask, чтобы включить вызов этой функции из интерфейсного веб-приложения.

  3. Теперь имитируйте передачу сведений из интерфейсного приложения в эту функцию. Добавьте следующий код в конец файла chat.py . Вы можете играть с сообщением и добавить собственное имя.

    if __name__ == "__main__":
        response = get_chat_response(
            messages=[{"role": "user", "content": "what city has the best food in the world?"}],
            context={"first_name": "Jessie", "last_name": "Irwin"},
        )
        print(response.choices[0].message.content)
    

Запустите измененный скрипт, чтобы просмотреть ответ модели с новыми входными данными.

python chat.py

Очистите ресурсы

Если вам больше не нужен какой-либо из созданных ресурсов, удалите группу ресурсов, связанную с проектом.

На портале Azure AI Foundry выберите имя проекта в правом верхнем углу. Затем выберите ссылку для группы ресурсов, чтобы открыть ее на портале Azure. Выберите группу ресурсов и нажмите кнопку "Удалить". Убедитесь, что вы хотите удалить группу ресурсов.

Следующий шаг

В этом кратком руководстве вы используете Azure AI Foundry для:

  • Создание проекта
  • Развертывание модели
  • Запуск завершения чата
  • Создание и запуск агента
  • Отправка файлов в агент

Пакет SDK для Azure AI Foundry доступен на нескольких языках, включая Python, Java, JavaScript и C#. В этом кратком руководстве приведены инструкции по каждому из этих языков.

Подсказка

В остальной части этой статьи показано, как использовать проект Foundry. Выберите проект на основе концентратора в верхней части этой статьи, если вы хотите использовать проект на основе концентратора. Какой тип проекта мне нужен?

Предпосылки

  • Подписка Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.
  • Вы должны быть владельцем подписки, чтобы получить соответствующий контроль доступа, необходимый для использования проекта.

Это важно

Элементы, обозначенные в этой статье как (предварительная версия), сейчас предлагаются в общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания, и мы не рекомендуем ее для рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Для получения дополнительной информации см. Дополнительные условия использования для предварительных версий Microsoft Azure.

Начало работы с проектом и моделью

  1. Войдите на портал Azure AI Foundry.

  2. На домашней странице выполните поиск и выберите модель gpt-4o .

    Снимок экрана: начало создания агента на портале Azure AI Foundry.

  3. На странице сведений о модели выберите "Использовать эту модель".

  4. Введите имя, используемое для проекта, и нажмите кнопку "Создать".

  5. После создания ресурсов вы находитесь на игровой площадке чата.

Настройка среды

Установка не требуется для использования портала Azure AI Foundry.

Запуск завершения чата

Завершение чата — это базовый стандартный блок приложений ИИ. С помощью завершения чата можно отправить список сообщений и получить ответ от модели.

  1. На игровой площадке чата введите запрос и нажмите кнопку "Отправить ".
  2. Модель возвращает ответ в панели Response.

Чат с агентом

Агенты обладают мощными возможностями с помощью средств. Начните с чата с агентом.

Когда вы будете готовы использовать агент, для вас создается агент по умолчанию. Чтобы общаться с этим агентом, выполните указанные ниже действия.

  1. На левой панели выберите "Игровые площадки".
  2. На карточке игровой площадки агентов выберите "Давайте пойдем".
  3. Добавьте инструкции, такие как "Вы полезный помощник по написанию".
  4. Начните чаты с агентом, например: "Напишите мне стихотворение о цветах".

Добавьте файлы в агент

Теперь добавим средство поиска файлов, позволяющее нам выполнять извлечение знаний.

  • Скачайте product_info_1.md , чтобы предоставить агенту.
  1. В области настроек агента прокрутите вниз, если необходимо, чтобы найти Знания.
  2. Нажмите кнопку "Добавить".
  3. Выберите файлы для отправки файла product_info_1.md .
  4. Выберите локальные файлы в разделе "Добавить файлы".
  5. Выберите " Отправить и сохранить".
  6. Измените инструкции агентов, например "Вы полезный помощник и можете искать информацию из отправленных файлов".
  7. Задайте вопрос, например "Привет, какие продукты Contoso вы знаете?"
  8. Чтобы добавить дополнительные файлы, выберите в AgentVectorStore ... и нажмите кнопку "Управление".

Очистите ресурсы

Если вам больше не нужен какой-либо из созданных ресурсов, удалите группу ресурсов, связанную с проектом.

На портале Azure AI Foundry выберите имя проекта в правом верхнем углу. Затем выберите ссылку для группы ресурсов, чтобы открыть ее на портале Azure. Выберите группу ресурсов и нажмите кнопку "Удалить". Убедитесь, что вы хотите удалить группу ресурсов.

Следующий шаг