Развернуть поток для вывода результатов в режиме реального времени

После того, как вы создадите поток подсказок и протестируете его, вы можете развернуть его в качестве онлайн конечной точки. Развертывания размещаются в конечной точке. Они могут получать данные от клиентов и отправлять ответы в режиме реального времени.

Вы можете вызвать конечную точку для инференции в режиме реального времени для чата, копилота или другого генеративного приложения ИИ. Потоки запросов поддерживают развертывание конечной точки из потока или массового запуска тестов.

В этой статье вы узнаете, как развернуть поток как управляемую конечную точку в сети для вывода в режиме реального времени.

• Протестируйте поток и подготовьте его к развертыванию.
• Создание сетевого развертывания.
• Предоставьте разрешения конечной точке.
• Проверьте конечную точку.
• Использование конечной точки.

Предпосылки

• Учетная запись Azure с активной подпиской. Если у вас его нет, создайте бесплатную учетную запись Azure, которая включает бесплатную пробную подписку.
• Если у вас нет одного, создайте проект на основе концентратора.

Чтобы развернуть поток запроса в качестве сетевой конечной точки, вам потребуется:

• Подписка Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись.
• Проект Microsoft Foundry.
• Поставщик ресурсов Microsoft.PolicyInsights, зарегистрированный в вашей подписке. Дополнительные сведения см. в разделе "Регистрация поставщика ресурсов".

Создание сетевого развертывания

Создав поток и протестив его, создайте конечную точку в сети для вывода в режиме реального времени.

Чтобы развернуть поток запроса в качестве сетевой конечной точки на портале Foundry, выполните следующие действия.

1. Подготовь поток запроса к развертыванию. Если у вас его нет, см. Разработка потока запроса.

2. Необязательно. Выберите чат , чтобы проверить правильность работы потока. Перед развертыванием рекомендуется протестировать поток.

3. Выберите "Развернуть " в редакторе потоков.

   

4. На странице "Основные параметры" укажите необходимые сведения.

   

5. Выберите Review + Create. Или нажмите кнопку "Далее ", чтобы перейти к страницам расширенных параметров, которые не нужны для этой статьи.

6. Выберите "Создать", чтобы развернуть поток запроса.

7. Чтобы просмотреть состояние развертывания, выберите "Модели + конечные точки " на левой панели. После того как развертывание будет успешно создано, выберите его, чтобы просмотреть дополнительные сведения.

   

8. Перейдите на вкладку "Использование ", чтобы просмотреть примеры кода, которые можно использовать для использования развернутой модели в приложении.

   На этой странице также отображается URL конечной точки, который можно использовать для обращения к конечной точке.

   

9. Вы можете использовать конечную точку REST непосредственно или начать работу с одним из примеров, показанных здесь.

   

Сведения о развертывании базовой модели см. в статье "Развертывание моделей с помощью Foundry".

Параметры и конфигурации

Текстовый файл требований

При желании можно указать дополнительные пакеты, которые вам нужны в requirements.txt. В корневой папке папки потока можно найти requirements.txt . При развертывании потока запроса в управляемой сетевой конечной точке в пользовательском интерфейсе по умолчанию развертывание использует среду, созданную на основе базового образа, указанного в flow.dag.yaml , и зависимостей, указанных в requirements.txt.

Базовый образ, указанный в flow.dag.yaml, создается на основе базового образа потока запроса mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version>. Чтобы просмотреть последнюю версию, см. этот список. Если вы не укажете базовый образ в flow.dag.yaml, развертывание использует базовый образ по умолчанию mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latest.

Основные параметры

На этом шаге вы настраиваете основные параметры при выборе " Развернуть " в редакторе потоков.

После завершения работы с основными параметрами нажмите кнопку "Проверить и создать ", чтобы завершить создание. Вы также можете выбрать пункт "Далее ", чтобы настроить дополнительные параметры.

Дополнительные параметры: Конечная точка

Для конечной точки можно указать следующие параметры.

В рабочем процессе "Дополнительные параметры" можно также указать теги развертывания и выбрать настраиваемую среду.

Тип аутентификации

Этот параметр определяет метод проверки подлинности для конечной точки. Проверка подлинности на основе ключей предоставляет первичный и вторичный ключ, срок действия которого не истекает. Проверка подлинности на основе маркеров машинного обучения Azure предоставляет маркер, который периодически обновляется.

Тип идентификации

Конечная точка должна получить доступ к ресурсам Azure для инференции, например, Реестр контейнеров Azure или подключения Foundry Hub. Вы можете разрешить конечной точке доступ к ресурсам Azure, предоставив его управляемому удостоверению соответствующие разрешения.

Назначаемый системой идентификатор создается после создания конечной точки. Пользователь создает пользовательскую назначенную идентичность. Дополнительные сведения см. в разделе Управляемые идентификаторы для ресурсов Azure.

Назначено системой

Параметр Принудительного доступа к секретам подключения (предварительная версия) включен по умолчанию. Если поток использует подключения, конечная точка должна получить доступ к подключениям для выполнения вывода.

Если у вас есть разрешение на чтение секретов подключения, конечной точке предоставляется доступ к роли «Чтение секретов подключения» рабочей области Azure Machine Learning для доступа к подключениям. Если этот параметр отключен, необходимо предоставить эту роль удостоверениям, назначенным системой, вручную или обратиться за помощью к администратору. Дополнительные сведения см. в разделе "Предоставление разрешения для удостоверения конечной точки".

Пользователь назначен

При создании развертывания Azure пытается извлечь образ контейнера пользователя из реестра контейнеров хаба Foundry и монтирует модель пользователя и артефакты кода в контейнер пользователя из учетной записи хранения хаба.

Если вы создаете связанную конечную точку с опцией "Назначаемое пользователем удостоверение", предоставьте пользовательскому назначенному удостоверению следующие роли до создания развертывания. В противном случае создание развертывания не удается.

Дополнительные сведения о предоставлении разрешений удостоверению конечной точки см. в разделе "Предоставление разрешений удостоверению конечной точки".

Дополнительные параметры: выходные данные и подключения

На данном этапе вы можете просмотреть все выходные данные потока и указать, какие из них следует включить в ответ развертываемой вами конечной точки. По умолчанию выбраны все выходные данные потока.

Можно также указать подключения, которые конечная точка использует при выполнении вывода. По умолчанию конечная точка наследует подключения от потока.

После настройки и проверки всех предыдущих шагов нажмите кнопку "Проверить и создать ", чтобы завершить создание.

Ожидается, что создание конечной точки займет более 15 минут. Этапы включают создание конечной точки, регистрацию модели и создание развертывания.

Процесс создания развертывания отправляет уведомление, начинающееся с Prompt flow deployment.

Активируйте трассировку, включив диагностику Application Insights в предварительном режиме.

Если эта возможность включена, данные трассировки и системные метрики в процессе вывода собираются в Application Insights, связанной с рабочей областью. Эти метрики включают количество токенов, временную задержку потока и запрос на поток. Дополнительные сведения см. в статье "Включение трассировки и сбор отзывов о развертывании потока".

Предоставление разрешений конечной точке

Чтобы предоставить необходимые разрешения на портале Azure, выполните следующие действия.

1. Перейдите на страницу обзора проекта Foundry на портале Azure.

2. Выберите Управление доступом (IAM), а затем Добавление назначения ролей.

   

3. Выберите Azure Machine Learning Workspace Connection Secrets Reader и нажмите Далее.

   Роль чтения секретов подключения к рабочей области машинного обучения Azure — это встроенная роль, обладающая разрешением на получение подключений к концентратору.

   Если вы хотите использовать настраиваемую роль, убедитесь, что настраиваемая роль имеет разрешение Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action. Узнайте больше о создании пользовательских ролей.

4. Выберите управляемое удостоверение, а затем выберите участников.

   • Назначаемое системой удостоверение: под управляемым удостоверением, назначаемым системой, выберите конечную точку машинного обучения в Интернете и выполните поиск по имени конечной точки.
   • Назначаемое пользователем удостоверение: выберите управляемое удостоверение, назначаемое пользователем, и выполните поиск по имени удостоверения.

5. Для назначенной пользователем идентичности предоставьте права доступа контейнерному реестру концентратора и учетной записи хранения. Вы можете найти реестр контейнеров и учетную запись хранения на странице обзора концентратора на портале Azure.

   Перейдите на страницу обзора реестра контейнеров концентратора и выберите Управление доступом>, Добавить назначение роли. Назначьте ACR Pull идентификатору конечной точки.

   Перейдите на страницу обзора хранилища по умолчанию концентратора и выберитепункт "Добавить назначение роли> доступом". Назначьте средство чтения данных BLOB-объектов хранилища идентификатору конечной точки.

6. Необязательно: Для назначенной пользователем идентичности, если вы хотите отслеживать метрики, связанные с конечными точками системы, такие как использование ЦП/ГПУ/диска/памяти, нужно предоставить роль записи метрик рабочей области этой идентичности от хаба.

Проверка состояния конечной точки

После завершения развертывания вы получите уведомления. После успешного создания конечной точки и развертывания выберите «Просмотреть сведения» на странице с подробной информацией о развертывании.

Вы также можете перейти непосредственно на страницу "Модель + конечные точки" на левой панели и выбрать развертывание, чтобы проверить состояние.

Тестирование конечной точки

На странице сведений о развертывании выберите вкладку "Тест ".

Для конечных точек, развернутых из стандартного потока, можно ввести значения в редакторе форм или редакторе JSON для тестирования конечной точки.

Тестирование конечной точки, развернутой из потока чата

Для конечных точек, развернутых из потока чата, его можно протестировать в иммерсивном окне чата.

Сообщение chat_input было установлено во время разработки потока чата. В поле ввода можно поместить chat_input сообщение. Если поток содержит несколько входных данных, укажите значения для других входных данных, кроме chat_input сообщения на панели входных данных справа.

Использование конечной точки

На странице сведений о развертывании выберите вкладку "Использование ". Вы можете найти конечную точку REST и ключ или токен для использования конечной точки. Пример кода также доступен для обращения к конечной точке на различных языках.

Необходимо ввести значения для RequestBody или dataapi_key. Например, если ваш поток имеет два входа, location и url, укажите их данные, как показано в следующем примере:

 {
"location": "LA",
"url": "<the_url_to_be_classified>"
}

Очистка ресурсов

Если вы не собираетесь использовать конечную точку после завершения работы с этим руководством, удалите конечную точку. Полное удаление может занять 20 минут.

Связанный контент

• Узнайте больше о том, что можно сделать в Foundry.
• Получите ответы на часто задаваемые вопросы в разделе Foundry FAQ.
• Включите трассировку и сбор отзывов для вашего развертывания.