Поток запросов в Azure AI Studio

Поток запросов — это средство разработки, предназначенное для оптимизации всего цикла разработки приложений искусственного интеллекта на основе больших языковых моделей (LLM). Поток запросов предоставляет комплексное решение, которое упрощает процесс создания прототипов, экспериментов, итераций и развертывания приложений ИИ.

Поток запросов доступен независимо как проект с открытым исходным кодом на GitHub с собственным пакетом SDK и расширением VS Code. Поток запросов также доступен и рекомендуется использовать как функцию в Azure AI Studio, так и в Студия машинного обучения Azure. Этот набор документации посвящен потоку запросов в Azure AI Studio.

Определения:

• Поток запросов — это функция, которую можно использовать для создания, настройки или запуска потока.
• Поток — это исполняемый набор инструкций, который может реализовать логику ИИ. Потоки можно создавать или запускать с помощью нескольких инструментов, таких как предварительно созданная холст, LangChain, etcetera. Итерации потока можно сохранить в виде ресурсов; После развертывания потока становится API. Не все потоки являются потоками запросов; Скорее, поток запроса — один из способов создания потока.
• Запрос — это пакет входных данных, отправляемый в модель, состоящий из входных данных пользователя, системного сообщения и любых примеров. Входные данные пользователя — это текст, отправленный в окне чата. Системное сообщение — это набор инструкций для модели, который определяет его поведение и функциональные возможности.
• Пример потока — это простой предварительно созданный поток оркестрации, который показывает, как работают потоки и можно настроить.
• Пример запроса — это определенный запрос для определенного сценария, который можно скопировать из библиотеки и использовать как есть или изменить в конструкторе запросов.

Преимущества потока запросов

С помощью потока запросов в Azure AI Studio вы можете:

• Оркестрация исполняемых потоков с помощью LLM, запросов и инструментов Python с помощью визуализированного графа.
• Отладка, совместное использование и итерацию потоков с легкостью через совместную работу команды.
• Создайте варианты запроса и сравните их производительность.

Гибкость разработки запросов

• Интерактивный интерфейс разработки: поток запроса предоставляет визуальное представление структуры потока, что позволяет легко понять и перемещать проекты.
• Варианты настройки запроса: можно создавать и сравнивать несколько вариантов запроса, упрощая итеративный процесс уточнения.
• Оценка. Встроенные потоки оценки позволяют оценить качество и эффективность их запросов и потоков.
• Комплексные ресурсы: поток запросов включает в себя библиотеку встроенных инструментов, примеров и шаблонов, которые служат отправной точкой для разработки, вдохновляющего творчества и ускорения процесса.

Готовность к работе в масштабах предприятия

• Совместная работа. Поток запросов поддерживает совместную работу команды, позволяя нескольким пользователям совместно работать над проектами разработки запросов, совместно использовать знания и поддерживать управление версиями.
• Все в одной платформе: поток запроса упрощает весь процесс разработки запросов, от разработки и оценки до развертывания и мониторинга. Вы можете легко развертывать потоки в качестве конечных точек ИИ Azure и отслеживать их производительность в режиме реального времени, обеспечивая оптимальную работу и непрерывное улучшение.
• Решения о готовности предприятия. Поток запросов применяет надежные решения готовности предприятия Azure AI, обеспечивая безопасную, масштабируемую и надежную основу для разработки, экспериментирования и развертывания потоков.

С помощью потока запросов в Azure AI Studio вы можете развязать гибкость разработки запросов, эффективно сотрудничать и применять решения корпоративного уровня для успешной разработки и развертывания приложений на основе LLM.

Жизненный цикл разработки потока

Поток запросов предлагает четко определенный процесс, который упрощает простое развитие приложений искусственного интеллекта. Используя его, вы можете эффективно выполнять этапы разработки, тестирования, настройки и развертывания потоков, что в конечном итоге приводит к созданию полнофункционированных приложений ИИ.

Жизненный цикл состоит из следующих этапов:

• Инициализация. Определите вариант использования бизнеса, соберите примеры данных, научитесь создавать базовый запрос и разрабатывать поток, расширяющий его возможности.
• Экспериментирование. Запустите поток с примерами данных, оцените производительность запроса и выполните итерацию потока при необходимости. Непрерывно экспериментируйте до тех пор, пока не удовлетворены результатами.
• Оценка и уточнение. Оценка производительности потока путем его выполнения с большим набором данных, оценки эффективности запроса и уточнения по мере необходимости. Перейдите к следующему этапу, если результаты соответствуют требуемым критериям.
• Рабочая среда: оптимизируйте поток для повышения эффективности и эффективности, развертывайте его, отслеживайте производительность в рабочей среде и собираете данные об использовании и отзывы. Используйте эту информацию, чтобы улучшить поток и внести свой вклад в более ранние этапы для дальнейших итерации.

Следуя этому структурированному и методическому подходу, поток запросов позволяет разрабатывать, тщательно тестировать, точно настраивать и развертывать потоки с уверенностью, что приводит к созданию надежных и сложных приложений ИИ.

Типы потоков

В Azure AI Studio можно запустить новый поток, выбрав тип потока или шаблон из коллекции.

Ниже приведены некоторые примеры типов потоков:

• Стандартный поток: предназначен для разработки общих приложений, стандартный поток позволяет создавать поток с помощью широкого спектра встроенных средств для разработки приложений на основе LLM. Она обеспечивает гибкость и гибкость разработки приложений в разных доменах.
• Поток чата: адаптировано для разработки диалоговых приложений, поток чата строится на основе возможностей стандартного потока и обеспечивает расширенную поддержку входных и выходных данных чата и управления журналом чата. С помощью собственного режима беседы и встроенных функций вы можете легко разрабатывать и отлаживать свои приложения в контексте беседы.
• Поток оценки: предназначен для сценариев оценки, поток оценки позволяет создать поток, который принимает выходные данные предыдущего потока в качестве входных данных. Этот тип потока позволяет оценить производительность предыдущих результатов выполнения и выходных данных соответствующих метрик, упрощая оценку и улучшение своих моделей или приложений.

Потоки

Поток в потоке запроса служит исполняемым рабочим процессом, который упрощает разработку приложения ИИ на основе LLM. Она предоставляет комплексную платформу для управления потоком данных и обработкой в приложении.

В потоке узлы занимают центральное место, представляющее определенные инструменты с уникальными возможностями. Эти узлы обрабатывают обработку данных, выполнение задач и алгоритмические операции с входными и выходными данными. Подключая узлы, вы создаете простую цепочку операций, которые управляют потоком данных через приложение.

Для упрощения настройки узла и тонкой настройки визуальное представление структуры рабочего процесса предоставляется с помощью графа DAG (ациклический граф). На этом графике показана связь и зависимости между узлами, обеспечивающая четкий обзор всего рабочего процесса.

С помощью функции потока в потоке запроса у вас есть возможность разрабатывать, настраивать и оптимизировать логику приложения ИИ. Согласованное расположение узлов обеспечивает эффективное обработку данных и эффективное управление потоками, что позволяет создавать надежные и расширенные приложения.

Средства потока запроса

Средства — это основные стандартные блоки потока.

В Azure AI Studio параметры инструментов включают средство LLM, средство запроса, средство Python и многое другое.

Каждое средство — это простой исполняемый модуль с определенной функцией. Сочетая различные инструменты, можно создать поток, который выполняет широкий спектр целей. Например, можно использовать средство LLM для создания текста или сводки статьи и средства Python для обработки текста для информирования следующего компонента потока или результата.

Одним из основных преимуществ средств потока запроса является их простая интеграция с сторонними API и пакетами открытый код Python. Это не только улучшает функциональные возможности больших языковых моделей, но и делает процесс разработки более эффективным для разработчиков.

Если средства потока запросов в Azure AI Studio не соответствуют вашим требованиям, вы можете разработать собственный пользовательский инструмент и сделать его пакетом инструментов. Чтобы узнать больше пользовательских средств, разработанных сообществом открытый код, посетите настраиваемые средства потока запросов.

Следующие шаги

• Создание с помощью потока запросов в Azure AI Studio
• Начало работы с потоком запросов в VS Code