Развернуть поток для вывода результатов в режиме реального времени

После сборки потока запроса и его правильного тестирования может потребоваться развернуть его в качестве сетевой конечной точки. Развертывания размещаются в конечной точке, и они могут получать данные от клиентов и отправлять ответы обратно в режиме реального времени.

Вы можете вызвать конечную точку для инференции в режиме реального времени для чата, копилота или другого генеративного приложения ИИ. Последовательность запросов поддерживает развертывание конечных точек из потока или массового запуска тестов.

В этой статье вы узнаете, как развернуть поток как управляемую конечную точку в сети для вывода в режиме реального времени. Теперь необходимо выполнить следующие шаги:

• Протестируйте поток и подготовьте его к развертыванию.
• Создание сетевого развертывания.
• Предоставьте разрешения конечной точке.
• Проверьте конечную точку.
• Использование конечной точки.

Предпосылки

Чтобы развернуть поток запроса в качестве сетевой конечной точки, вам потребуется:

• Подписка Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.
• Проект Azure AI Foundry.
• Поставщик ресурсов, зарегистрированный Microsoft.PolicyInsights в выбранной подписке. Дополнительные сведения о регистрации поставщика ресурсов см. в разделе "Регистрация поставщика ресурсов".

Создание сетевого развертывания

После создания потока и его правильного тестирования пришло время создать конечную точку в Интернете для вывода в режиме реального времени.

Чтобы развернуть поток подсказок в качестве онлайн-узла на портале Azure AI Foundry:

1. Подготовь поток запроса к развертыванию. Если у вас его нет, см. Разработка потока запроса.

2. Необязательно. Выберите чат , чтобы проверить правильность работы потока. Перед развертыванием рекомендуется протестировать поток.

3. Выберите "Развернуть " в редакторе потоков.

   

4. Укажите запрошенные сведения на странице "Основные параметры " в мастере развертывания.

   

5. Выберите "Рецензирование и создание", чтобы просмотреть параметры и создать развертывание. В противном случае нажмите кнопку "Далее ", чтобы перейти к страницам расширенных параметров.

6. Выберите "Создать", чтобы развернуть поток запроса.

7. Чтобы просмотреть состояние развертывания, выберите "Модели + конечные точки " на левой панели. После того как развертывание будет успешно создано, выберите его, чтобы просмотреть дополнительные сведения.

   

8. Перейдите на вкладку "Использование ", чтобы просмотреть примеры кода, которые можно использовать для использования развернутой модели в приложении.

   На этой странице также отображается URL конечной точки, который можно использовать для обращения к конечной точке.

   

9. Вы можете использовать конечную точку REST непосредственно или начать работу с одним из примеров, показанных здесь.

   

Сведения о развертывании базовой модели см. в статье "Развертывание моделей с помощью Azure AI Foundry".

Параметры и конфигурации

Текстовый файл требований

При желании можно указать дополнительные пакеты, которые вам нужны в requirements.txt. В корневой папке папки потока можно найти requirements.txt . При развертывании потока запроса в управляемой сетевой конечной точке в пользовательском интерфейсе по умолчанию развертывание использует среду, созданную на основе базового образа, указанного в flow.dag.yaml и зависимостей, указанных в requirements.txt потоке.

Базовый образ, указанный в flow.dag.yaml, должен быть создан на основе базового образа mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version> потока запроса. На этом веб-сайте можно найти последнюю версию. Если вы не укажете базовый образ в flow.dag.yaml, развертывание использует базовый образ по умолчанию mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latest.

Основные параметры

На этом шаге вы настраиваете основные параметры при выборе " Развернуть " в редакторе потоков.

После завершения работы с основными параметрами нажмите кнопку "Проверить и создать ", чтобы завершить создание. Вы также можете выбрать пункт "Далее ", чтобы настроить дополнительные параметры.

Дополнительные параметры: Конечная точка

Для конечной точки можно указать следующие параметры.

В рабочем процессе "Дополнительные параметры" можно также указать теги развертывания и выбрать настраиваемую среду.

Тип аутентификации

Этот параметр определяет метод проверки подлинности для конечной точки. Проверка подлинности на основе ключей предоставляет первичный и вторичный ключ, срок действия которого не истекает. Машинное обучение Azure аутентификация на основе маркеров предоставляет маркер, который периодически обновляется автоматически.

Тип идентификации

Конечная точка должна получить доступ к ресурсам Azure, таким как Реестр контейнеров Azure или ваши подключения к хабу Azure AI Foundry для инференции. Вы можете разрешить конечной точке доступ к ресурсам Azure, предоставив его управляемому удостоверению соответствующие разрешения.

Назначаемое системой удостоверение создается автоматически после создания конечной точки. Пользователь создает пользовательскую назначенную идентичность. Дополнительные сведения см. в обзоре управляемых удостоверений.

Назначено системой

Обратите внимание, что параметр Принудительное доступ к секретам подключения (предварительная версия). Если поток использует подключения, конечная точка должна получить доступ к подключениям для выполнения вывода. Параметр включен по умолчанию.

Конечная точка предоставляет роль средства чтения секретов подключения рабочей области Машинного обучения Azure автоматически, если у вас есть разрешение на средство чтения секретов подключения. Если этот параметр отключен, необходимо предоставить эту роль удостоверениям, назначенным системой, вручную или обратиться за помощью к администратору. Дополнительные сведения см. в разделе "Предоставление разрешения для удостоверения конечной точки".

Пользователь назначен

При создании развертывания Azure пытается извлечь образ контейнера пользователя из реестра контейнеров центра Azure AI Foundry и монтирует модель пользователя и артефакты кода в контейнер пользователя из учетной записи хранения центра.

Если вы создали связанную конечную точку с параметром «Назначаемое пользователем удостоверение», до создания развертывания необходимо предоставить этому удостоверению следующие роли. В противном случае создание развертывания не удается.

Дополнительные сведения о предоставлении разрешений удостоверению конечной точки см. в разделе "Предоставление разрешений удостоверению конечной точки".

Дополнительные параметры: выходные данные и подключения

На данном этапе вы можете просмотреть все выходные данные потока и указать, какие из них следует включить в ответ развертываемой вами конечной точки. По умолчанию выбраны все выходные данные потока.

Можно также указать подключения, используемые конечной точкой при выполнении вывода. По умолчанию они наследуются от потока.

После настройки и проверки всех предыдущих шагов нажмите кнопку "Проверить и создать ", чтобы завершить создание.

Ожидается, что создание конечной точки займет более 15 минут. Этапы включают создание конечной точки, регистрацию модели и создание развертывания.

Процесс создания развертывания отправляет уведомление, начинающееся с Prompt flow deployment.

Активируйте трассировку, включив диагностику Application Insights в предварительном режиме.

Если вы включите эту возможность, данные трассировки и системные метрики во время выполнения вывода (например, количество маркеров, задержка потока и запрос потока) собираются в связанное с рабочей областью приложение Application Insights. Дополнительные сведения см. в разделе "Обработка потока запросов: данные трассировки и метрики".

Предоставление разрешений конечной точке

Чтобы предоставить необходимые разрешения в пользовательском интерфейсе портала Azure, выполните следующие действия.

1. Перейдите на страницу обзора проекта Azure AI Foundry на портале Azure.

2. Выберите Управление доступом (IAM), а затем Добавление назначения ролей.

   

3. Выберите Azure Machine Learning Workspace Connection Secrets Reader и нажмите Далее.

   Роль чтения секретов подключения к рабочей области машинного обучения Azure — это встроенная роль, обладающая разрешением на получение подключений к концентратору.

   Если вы хотите использовать настраиваемую роль, убедитесь, что настраиваемая роль имеет разрешение Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action. Узнайте больше о создании пользовательских ролей.

4. Выберите управляемое удостоверение, а затем выберите участников.

   • Назначаемое системой удостоверение: под управляемым удостоверением, назначаемым системой, выберите конечную точку машинного обучения в Интернете и выполните поиск по имени конечной точки.
   • Назначаемое пользователем удостоверение: выберите управляемое удостоверение, назначаемое пользователем, и выполните поиск по имени удостоверения.

5. Для назначаемого пользователем удостоверения необходимо предоставить разрешения для реестра контейнеров концентратора и учетной записи хранения. Вы можете найти реестр контейнеров и учетную запись хранения на странице обзора концентратора на портале Azure.

   

   Перейдите на страницу обзора реестра контейнеров концентратора и выберите Управление доступом>, Добавить назначение роли. Назначьте ACR Pull идентификатору конечной точки.

   Перейдите на страницу обзора хранилища по умолчанию концентратора и выберитепункт "Добавить назначение ролиуправления> доступом". Назначьте средство чтения данных BLOB-объектов хранилища идентификатору конечной точки.

6. Необязательно: Для назначенной пользователем идентичности, если вы хотите отслеживать метрики, связанные с конечными точками системы, такие как использование ЦП/ГПУ/диска/памяти, нужно предоставить роль записи метрик рабочей области этой идентичности от хаба.

Проверка состояния конечной точки

После завершения работы мастера развертывания вы получите уведомления. После успешного создания конечной точки и развертывания выберите «Просмотреть сведения» на странице с подробной информацией о развертывании.

Вы также можете перейти непосредственно на страницу "Модель + конечные точки" на левой панели, выбрать развертывание и проверить состояние.

Тестирование конечной точки

На странице сведений о развертывании выберите вкладку "Тест ".

Для конечных точек, развернутых из стандартного потока, можно ввести значения в редакторе форм или редакторе JSON для тестирования конечной точки.

Тестирование конечной точки, развернутой из потока чата

Для конечных точек, развернутых из потока чата, его можно протестировать в иммерсивном окне чата.

Сообщение chat_input было установлено во время разработки потока чата. В поле ввода можно поместить chat_input сообщение. Если поток содержит несколько входных данных, можно указать значения для других входных данных, кроме chat_input сообщения на панели входных данных справа.

Использование конечной точки

На странице сведений о развертывании выберите вкладку "Использование ". Вы можете найти конечную точку REST и ключ или токен для использования конечной точки. Пример кода также доступен для обращения к конечной точке на различных языках.

Необходимо ввести значения для RequestBody или dataapi_key. Например, если в потоке есть два входных данных, location и url, вы необходимо указать данные в следующем примере:

 {
"location": "LA",
"url": "<the_url_to_be_classified>"
}

Очистка ресурсов

Если вы не собираетесь использовать конечную точку после завершения работы с этим руководством, удалите конечную точку. Полное удаление может занять около 20 минут.

Связанный контент

• Дополнительные сведения о том, что можно сделать в Azure AI Foundry.
• Получите ответы на часто задаваемые вопросы о Azure AI Foundry.
• Включите трассировку и сбор отзывов для вашего развертывания.