Начало работы с потоком запросов

В этой статье описывается основной пользовательский путь использования Prompt Flow в Студия машинного обучения Azure. Вы узнаете, как включить поток запросов в рабочей области Машинное обучение Azure, создать и разработать поток запросов, протестировать и оценить поток, а затем развернуть его в рабочей среде.

Необходимые условия

• Рабочая область Машинное обучение Azure. Тип хранилища по умолчанию для рабочей области должен быть BLOB.
• Учетная запись Azure OpenAI или существующее подключение Azure OpenAI с развертыванием. Дополнительные сведения см. статью Create a resource and deploy a model using Azure OpenAI.

  Примечание

  Если вы хотите защитить поток запросов с помощью виртуальной сети, следуйте инструкциям в Защита потока запросов с помощью управляемой виртуальной сети рабочей области.

Настройка подключения

Подключение помогает безопасно хранить секретные ключи и управлять ими или другими конфиденциальными учетными данными, необходимыми для взаимодействия с крупными языковыми моделями (LLM) и другими внешними средствами, такими как Azure безопасность содержимого. Ресурсы подключения предоставляются всем членам рабочей области.

1. Чтобы проверить наличие соединения Azure OpenAI, выберите Prompt flow в меню Студия машинного обучения Azure слева, затем выберите вкладку Связи на экране Prompt flow.

   

   Если вы уже видите подключение, поставщиком которого является AzureOpenAI, можно пропустить остальную часть этого процесса установки. Обратите внимание, что это подключение должно иметь развертывание, чтобы иметь возможность запускать узлы LLM в примере потока. Дополнительные сведения см. в разделе "Развертывание модели".

2. Если у вас нет подключения Azure OpenAI, выберите Create и выберите AzureOpenAI в раскрывающемся меню.

3. В области Добавить подключение Azure OpenAI укажите имя подключения, выберите ваш Идентификатор подписки и Имя учетной записи Azure OpenAI, а также укажите режим Аутентификации и сведения об API.

   Prompt flow поддерживает проверку подлинности с помощью API Key или Microsoft Entra ID для ресурсов Azure OpenAI. В этом руководстве выберите ключ API в режиме проверки подлинности.

   

   Чтобы получить сведения об API, перейдите на чатовую площадку на портале OpenAI Azure и выберите имя ресурса OpenAI Azure. Скопируйте Key и вставьте его в поле API key в форме Подключение Azure OpenAI, скопируйте Endpoint и вставьте его в поле API base в форме.

   

   Сведения о проверке подлинности Microsoft Entra ID см. в статье Как настроить Azure OpenAI в моделях Microsoft Foundry с проверкой подлинности Microsoft Entra ID.

4. После заполнения всех полей нажмите кнопку "Сохранить ", чтобы создать подключение.

5. Подключение должно быть связано с развертыванием, прежде чем запускать узлы LLM в примере потока. Чтобы создать развертывание, см. Развертывание модели.

Создание и разработка потока запроса

На вкладке "Потоки " домашней страницы потока запроса выберите "Создать ", чтобы создать поток запроса. На странице "Создание нового потока " показаны типы потоков, которые можно создать, встроенные примеры, которые можно клонировать для создания потока и способов импорта потока.

Клонирование из примера

В коллекции "Обзор" можно просмотреть встроенные примеры и выбрать подробные сведения о любой плитке, чтобы просмотреть, подходит ли она для вашего сценария.

В этом руководстве используется пример веб-классификации для перехода к основному пути пользователя. Веб-классификация — это поток, демонстрирующий многоклассовую классификацию с помощью LLM. При указании URL-адреса поток классифицирует URL-адрес в веб-категорию с несколькими снимками, простыми запросами суммирования и классификации. Например, при указании URL-адреса https://www.imdb.comон классифицирует URL-адрес в Movie.

Чтобы клонировать пример, выберите "Клонировать " на плитке "Классификация веб-сайтов ".

В области «Клонировать поток» отображается расположение для его размещения в файловом хранилище вашей рабочей области. Вы можете настроить папку, если хотите. Затем выберите Клонировать.

Клонированный поток открывается в интерфейсе создания. Вы можете выбрать значок карандаша Изменить, чтобы изменить сведения о потоке, такие как имя, описание и теги.

Запуск сеанса вычислений

Сеанс вычислений необходим для выполнения процесса. Сеанс вычислений управляет вычислительными ресурсами, необходимыми для запуска приложения, включая образ Docker, содержащий все необходимые пакеты зависимостей.

На странице разработки потоков запустите сеанс вычислений, нажав кнопку "Пуск сеанса вычислений".

Проверьте страницу авторства потока

Сеанс вычислений может занять несколько минут. Пока запускается сеанс вычислений, просмотрите части страницы разработки потока.

• Поток или Плоское представление на левой стороне страницы — это основная рабочая область, где можно редактировать поток, добавляя или удаляя узлы, редактируя и выполняя узлы непосредственно, или редактировать подсказки. В разделах "Входные и выходные данные" можно просматривать, добавлять или удалять и изменять входные и выходные данные.

  Когда вы клонировали текущий пример веб-классификации, входные и выходные данные уже были заданы. Входная схема потока — name: url; type: string URL-адрес строкового типа. Вы можете изменить предварительно заданное входное значение на другое значение, например https://www.imdb.com вручную.

• Файлы в правом верхнем углу отображают папку и структуру файлов потока. Каждая папка потока содержит файл flow.dag.yaml , файлы исходного кода и системные папки. Вы можете создавать, отправлять или скачивать файлы для тестирования, развертывания или совместной работы.

• Представление Graph в правом нижнем углу предназначено для визуализации того, как выглядит поток. Вы можете увеличить или уменьшить масштаб или использовать автоматический макет.

Вы можете редактировать файлы в режиме Поток или Плоский вид, или вы можете включить режим необработанных файлов и выбрать файл из Files, чтобы открыть его на вкладке для редактирования.

В этом примере входные данные — это URL-адрес для классификации. Поток использует скрипт Python для получения текстового содержимого из URL-адреса, затем применяет LLM для создания суммированного текста из 100 слов, и на основании URL-адреса и суммированного текста осуществляется классификация. Затем скрипт Python преобразует выходные данные LLM в словарь. Узел prepare_examples передает несколько примеров снимков в подсказку узла классификации.

Настройка узлов LLM

Для каждого узла LLM необходимо выбрать подключение , чтобы задать ключи API LLM. Выберите подключение Azure OpenAI.

В зависимости от типа подключения необходимо выбрать deployment_name или модель из раскрывающегося списка. Для подключения Azure OpenAI выберите развертывание. Если у вас нет развертывания, создайте его на портале Azure OpenAI, следуя инструкциям развертывание модели.

В этом примере убедитесь, что тип API является чатом, так как предоставленный пример запроса предназначен для API чата. Дополнительные сведения о различиях между API чата и завершения см. в статье "Разработка потока".

Настройте подключения для обоих узлов LLM в потоке, summarize_text_content и classify_with_llm.

Запуск одного узла

Чтобы проверить и выполнить отладку одного узла, щелкните значок запуска в верхней части узла в представлении потока . Вы можете развернуть входные данные и изменить URL-адрес входных данных потока, чтобы проверить поведение узла для различных URL-адресов.

Состояние выполнения отображается в верхней части узла. После завершения выполнения выходные данные запуска отображаются в разделе выходных данных узла.

В представлении Graph также отображается состояние единого узла запуска.

Запустите fetch_text_content_from_url , а затем запустите summarize_text_content , чтобы проверить, может ли поток успешно получить содержимое из Интернета и суммировать веб-содержимое.

Запуск всего процесса

Чтобы проверить и отладить весь поток, выберите "Выполнить " в верхней части экрана. Можно изменить URL-адрес ввода потока, чтобы проверить поведение потока для различных URL-адресов.

Проверьте состояние выполнения и выходные данные каждого узла.

Просмотр выходных данных потока

Вы также можете задать выходные данные потока для проверки выходных данных нескольких узлов в одном месте. Выходные данные потока помогут вам:

• Проверьте результаты массового теста в одной таблице.
• Определите сопоставление интерфейсов оценки.
• Задайте схему ответа развертывания.

В клонированных примерах уже заданы выходные данные для категории и потока доказательств .

1. Выберите "Просмотреть выходные данные " в верхнем баннере или верхней строке меню, чтобы просмотреть подробные входные данные, выходные данные, выполнение потока и сведения о оркестрации.

   

2. На вкладке "Выходные данные" экрана «Выходные данные» обратите внимание, что поток прогнозирует входной URL-адрес с категорией и доказательствами.

   

3. Выберите вкладку Трассировка на экране Выходные данные, а затем выберите поток под именем узла, чтобы просмотреть подробную информацию о потоке в правой области. Разверните поток и выберите любой шаг, чтобы просмотреть подробные сведения для этого шага.

   

Тестирование и оценка

После успешного выполнения потока с одной строкой данных проверьте, хорошо ли он работает с большим набором данных. Вы можете выполнить массовый тест и при необходимости добавить поток оценки, а затем проверить результаты.

Сначала необходимо подготовить тестовые данные. Машинное обучение Azure поддерживает форматы файлов CSV, TSV и JSONL для данных.

• Перейдите к GitHub и скачайте data.csv золотой набор данных для примера веб-классификации.

Используйте мастер пакетного запуска и оценки, чтобы настроить и отправить пакетный запуск и, при необходимости, метод оценки. Методы оценки также являются потоками, которые используют Python или LLM для вычисления метрик, таких как точность и оценка релевантности.

1. Выберите "Оценить " в верхнем меню страницы разработки потоков.

2. На экране "Базовые параметры " измените отображаемое имя запуска при необходимости, добавьте необязательное описание итеги запуска, а затем нажмите кнопку "Далее".

3. На экране параметров выполнения пакетной службы нажмите кнопку "Добавить новые данные". На экране "Добавление данных" укажитеимя набора данных, нажмите кнопку "Обзор ", чтобы отправить скачанный файл data.csv , а затем нажмите кнопку "Добавить".

   После отправки данных или если в рабочей области есть другой набор данных, который вы хотите использовать, найдите и выберите набор данных из раскрывающегося списка, чтобы просмотреть первые пять строк.

   Функция сопоставления входных данных поддерживает сопоставление входных данных потока с любым столбцом данных в наборе данных, даже если имена столбцов не совпадают.

   

4. Нажмите Далее, чтобы при необходимости выбрать один или несколько методов оценки. На странице "Выбор оценки " отображаются встроенные и настраиваемые потоки оценки. Чтобы узнать, как метрики определены для встроенных методов оценки, можно выбрать подробнее на плитке метода.

   Веб-классификация — это сценарий классификации, поэтому выберите "Оценка точности классификации" , чтобы использовать для оценки, а затем нажмите кнопку "Далее".

   

5. На экране "Настройка оценки" задайте Сопоставление входных данных для оценки, чтобы задать соответствие истинных данных потоку входных данных ${data.category} и соответствие прогноза потоку выходных данных ${run.outputs.category}.

   

6. Выберите "Просмотр и отправка" , а затем нажмите кнопку "Отправить ", чтобы отправить пакетный запуск и выбранный метод оценки.

Проверка результатов

После успешного выполнения выберите Просмотреть список запусков, чтобы просмотреть статус выполнения на странице Runs потокового запроса. Выполнение пакетного процесса может занять некоторое время. Вы можете выбрать "Обновить", чтобы загрузить последнее состояние.

После завершения пакетного выполнения установите флажок рядом с запуском, а затем выберите визуализировать выходные данные , чтобы просмотреть результат выполнения пакета.

На экране визуализации выходных данных активируйте значок глаза рядом с дочерним запуском, чтобы добавить результаты оценки в таблицу выполнения пакетных заданий. Вы можете увидеть общее количество токенов и общую точность. В таблице выходных данных отображаются результаты для каждой строки данных: входные данные, выходные данные потока, системные метрики и результат оценки правильного или неправильного.

В таблице выходных данных можно:

• Измените ширину столбцов, скрыть или раскрыть столбцы или изменить порядок столбцов.
• Выберите "Экспорт для скачивания текущей страницы " в виде CSV-файла или "Скачать скрипт экспорта данных " в качестве файла записной книжки Jupyter, который можно запустить для скачивания выходных данных локально.
• Щелкните значок Просмотреть сведения рядом с любой строкой, чтобы открыть представление трассировки, показывающее полные сведения для этой строки.

Точность — это не единственная метрика, которая может оценить задачу классификации. Например, можно также использовать отзыв для оценки. Чтобы выполнить другие оценки, выберите " Оценить рядом с визуализацией выходных данных " на странице "Запуски " и выберите другие методы оценки.

Развертывание в качестве конечной точки

После сборки и тестирования потока его можно развернуть как конечную точку, чтобы можно было вызвать конечную точку для вывода в режиме реального времени.

Настройка конечной точки

1. На странице "серии запусков" выберите ссылку на название запуска, и на странице подробностей запуска выберите "Развернуть" в верхней панели меню, чтобы открыть мастер развертывания.

2. На странице "Базовые параметры " укажите имя конечной точки и имя развертывания и выберите тип виртуальной машины и число экземпляров.

3. Чтобы настроить дополнительные параметры конечных точек, развертывания и выходных данных и подключений, нажмите кнопку "Далее". В этом примере используйте параметры по умолчанию.

4. Выберите «Просмотр и создание», а затем выберите «Создать», чтобы начать развертывание.

Тестирование конечной точки

Вы можете перейти на страницу сведений о конечной точке из уведомления или выбрать конечные точки в левой части навигационной панели студии и выбрать вашу конечную точку на вкладке Реальные конечные точки. Развертывание конечной точки занимает несколько минут. После успешного развертывания конечной точки его можно протестировать на вкладке "Тест ".

Поместите URL-адрес, который нужно проверить в поле ввода, и выберите "Тест". Вы видите результат, предсказанный вашей конечной точкой.

Очистка ресурсов

Чтобы сэкономить вычислительные ресурсы и снизить затраты, вы можете остановить сеанс вычислений, если вы закончили его использовать на данный момент. Выберите запущенный сеанс и нажмите кнопку "Остановить сеанс вычислений".

Вы также можете остановить экземпляр вычислений, выбрав "Вычисления" в левой навигационной панели студии, выбрав экземпляр вычислений в списке вычислительных экземпляров и выбрав "Остановить".

Если вы не планируете использовать какие-либо ресурсы, созданные в этом руководстве, их можно удалить, чтобы они не взимали плату. На портале Azure найдите и выберите группы Resource. В списке выберите группу ресурсов, содержащую созданные ресурсы, а затем выберите "Удалить группу ресурсов " в верхнем меню на странице группы ресурсов.

Связанное содержимое

• Управление сеансом вычислений
• Разработка стандартного потока
• Отправка массового теста и оценка потока
• Настройка запросов с помощью вариантов
• Развертывание потока