Развертывание потока вывода в режиме реального времени (классическая модель)

Применяется только к:Портал Foundry (классический). Эта статья недоступна для нового портала Foundry. Дополнительные сведения о новом портале.

После создания потока запроса и его тестирования его можно развернуть в качестве сетевой конечной точки. Развертывания размещаются в конечной точке. Они могут получать данные от клиентов и отправлять ответы в режиме реального времени.

Вы можете вызывать конечную точку для обработки данных в режиме реального времени для чата, автопилота или другого генеративного ИИ-приложения. Потоки запросов поддерживают развертывание конечной точки из потока или массового прогона тестов.

В этой статье вы узнаете, как развернуть поток как управляемую конечную точку в сети для вывода в режиме реального времени.

• Протестируйте поток и подготовьте его к развертыванию.
• Создайте онлайн-развертывание.
• Предоставьте разрешения конечной точке.
• Проверьте конечную точку.
• Используйте конечную точку.

Необходимые условия

• Учетная запись Azure с активной подпиской. Если у вас нет, создайте учетную запись free Azure, которая включает бесплатную пробную подписку.
• Если у вас нет одного, создайте проект на основе концентратора.

Чтобы развернуть поток запроса в качестве сетевой конечной точки, вам потребуется:

• Подписка Azure. Если у вас нет подписки Azure, создайте учетную запись free.
• Проект Microsoft Foundry.
• Поставщик ресурсов Microsoft.PolicyInsights, зарегистрированный в вашей подписке. Дополнительные сведения см. в разделе "Регистрация поставщика ресурсов".

Создание онлайн развертывания

Создав поток и протестив его, создайте конечную точку в сети для вывода в режиме реального времени.

Чтобы развернуть поток запроса в качестве сетевой конечной точки на портале Foundry, выполните следующие действия.

1. Подготовьте поток подсказок к развертыванию. Если у вас его нет, см. статью "Разработка потока запроса".

2. Необязательно. Выберите чат , чтобы проверить правильность работы потока. Перед развертыванием рекомендуется протестировать поток.

3. Выберите "Развернуть" в редакторе потоков.

   

4. На странице "Основные параметры" укажите необходимые сведения.

   

5. Выберите "Рецензирование и создание". Или нажмите кнопку "Далее ", чтобы перейти к страницам расширенных параметров, которые не нужны для этой статьи.

6. Выберите «Создать», чтобы развернуть поток подсказок.

7. Чтобы просмотреть состояние развертывания, выберите "Модели + конечные точки " на левой панели. После успешного создания развертывания откройте его, чтобы просмотреть дополнительные сведения.

   

8. Перейдите на вкладку "Использование ", чтобы просмотреть примеры кода, которые можно использовать для использования развернутой модели в приложении.

   На этой странице также отображается URL-адрес конечной точки, который можно использовать для использования конечной точки.

   

9. Вы можете использовать конечную точку REST непосредственно или начать работу с одним из примеров, показанных здесь.

   

Сведения о развертывании базовой модели см. в статье "Развертывание моделей с помощью Foundry".

Параметры и конфигурации

Текстовый файл требований

При необходимости можно указать дополнительные пакеты, которые нужны в requirements.txt. В корневой папке папки потока можно найти requirements.txt . При развертывании потока запроса в управляемой сетевой конечной точке в пользовательском интерфейсе по умолчанию развертывание использует среду, созданную на основе базового образа, указанного в flow.dag.yaml , и зависимостей, указанных в requirements.txt.

Базовый образ, указанный в flow.dag.yaml, создается на основе базового образа потока запросов mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version>. Чтобы просмотреть последнюю версию, см. этот список. Если вы не укажете базовый образ в flow.dag.yaml, развертывание использует базовый образ по умолчанию mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latest.

Основные параметры

На этом шаге вы настраиваете основные параметры при выборе " Развернуть " в редакторе потоков.

После завершения работы с основными параметрами нажмите кнопку "Проверить и создать ", чтобы завершить создание. Вы также можете выбрать пункт "Далее ", чтобы настроить дополнительные параметры.

Дополнительные параметры: Конечная точка

Для конечной точки можно указать следующие параметры.

В рабочем процессе "Дополнительные параметры" можно также указать теги развертывания и выбрать настраиваемую среду.

Тип проверки подлинности

Этот параметр определяет метод проверки подлинности для конечной точки. Проверка подлинности на основе ключей предоставляет первичный и вторичный ключ, срок действия которого не истекает. Аутентификация Машинное обучение Azure на основе токенов предоставляет токен, который периодически обновляется.

Тип идентификатора

Конечная точка должна получить доступ к ресурсам Azure для инференса, таким как Реестр контейнеров Azure или подключения к вашему хабу Foundry. Разрешение конечной точки на доступ к ресурсам Azure можно разрешить, предоставив ему разрешение на управляемое удостоверение.

Назначаемое системой удостоверение создается после создания конечной точки. Пользователь создает назначаемую пользователем идентификацию. Дополнительные сведения см. в разделе Управляемые удостоверения для ресурсов Azure.

Назначено системой

Параметр Принудительного доступа к секретам подключения (предварительная версия) включен по умолчанию. Если поток использует подключения, конечная точка должна получить доступ к подключениям для выполнения вывода.

Если у вас есть разрешение на чтение секретов подключения, конечной точке предоставляется доступ к Машинное обучение Azure в рамках роли Читателя секретов подключения рабочей области с целью доступа к подключениям. Если этот параметр отключен, необходимо вручную предоставить эту роль системно назначенным удостоверениям или обратиться за помощью к администратору. Дополнительные сведения смотрите в разделе Предоставление разрешения для идентификатора конечной точки.

Назначенный пользователь

При создании развертывания Azure пытается извлечь образ контейнера пользователя из реестра контейнеров узла Foundry и монтирует модель и артефакты кода в контейнер пользователя из учетной записи хранения узла.

Если вы создаете связанную конечную точку с параметром Назначаемое пользователем удостоверение, предоставьте назначаемому пользователем удостоверению следующие роли перед созданием развертывания. В ином случае создание развертывания будет неудачным.

Дополнительные сведения о предоставлении разрешений удостоверению конечной точки см. в разделе "Предоставление разрешений конечной точке".

Дополнительные параметры: выходные данные и подключения

На этом этапе вы можете просмотреть все выходные данные потока и указать, какие из них следует включить в ответ конечной точки, которую вы развернули. По умолчанию выбраны все выходные данные потока.

Можно также указать подключения, которые конечная точка использует при выполнении вывода. По умолчанию конечная точка наследует подключения от потока.

После настройки и проверки всех предыдущих шагов нажмите кнопку "Проверить и создать ", чтобы завершить создание.

Ожидается, что создание конечной точки займет более 15 минут. Этапы включают создание конечной точки, регистрацию модели и создание развертывания.

Ход создания развертывания отправляет уведомление, начинающееся с развертывания потока запроса.

Включите трассировку, активировав функцию диагностики в Application Insights (предварительно)

Если эта возможность включена, данные трассировки и системные метрики во время вывода собираются в Application Insights, связанной с рабочей областью. Эти метрики включают количество токенов, задержку потока и запрос на обработку. Дополнительные сведения см. в статье "Включение трассировки и сбор отзывов о развертывании потока".

Предоставление разрешений конечной точке

Чтобы предоставить необходимые разрешения на портале Azure, выполните следующие действия.

1. Перейдите на страницу обзора проекта Foundry на портале Azure.

2. Выберите элемент управления доступом (IAM) и нажмите кнопку "Добавить назначение ролей".

   

3. Выберите Читатель Секретов Подключения Рабочей Области Машинное обучение Azure и выберите Далее.

   Роль Чтение секретов подключения к рабочей области Машинное обучение Azure — это встроенная роль, которая имеет разрешение на доступ к подключениям.

   Если вы хотите использовать настраиваемую роль, убедитесь, что настраиваемая роль имеет разрешение Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action. Узнайте больше о создании пользовательских ролей.

4. Выберите управляемое удостоверение и затем выберите участников:

   • Назначаемое системой удостоверение: под управляемым удостоверением, назначаемым системой, выберите конечную точку машинного обучения в Интернете и выполните поиск по имени конечной точки.
   • Назначаемое пользователем удостоверение: выберите управляемое удостоверение, назначаемое пользователем, и выполните поиск по имени удостоверения.

5. Для пользовательской назначаемой идентичности предоставьте разрешения hub реестру контейнеров и учетной записи хранилища. Реестр контейнеров и учетная запись хранения можно найти на странице обзора центра на портале Azure.

   Перейдите на страницу обзора концентратора реестра контейнеров и выберите Управление доступом>Добавить назначение роли. Назначьте ACR Pull идентификатору конечной точки.

   Перейдите на страницу обзора узла по умолчанию и выберите Управление доступом>Добавить назначение роли. Назначьте средство чтения данных BLOB-объектов хранилища идентификатору конечной точки.

6. Необязательный вариант: Для назначенной пользователем идентичности, если вы хотите отслеживать метрики, связанные с конечной точкой, такие как использование процессора/GPU/дисков/памяти, необходимо предоставить идентичности роль писателя метрик рабочей области концентратора.

Проверка состояния конечной точки

После завершения развертывания вы получите уведомления. После успешного создания конечной точки и развертывания выберите "Просмотреть сведения" в уведомлении, чтобы перейти на страницу сведений о развертывании.

Вы также можете перейти непосредственно на страницу "Модель + конечные точки" на левой панели и выбрать развертывание, чтобы проверить состояние.

Тестирование конечной точки

На странице сведений о развертывании выберите вкладку "Тест ".

Для конечных точек, развернутых из стандартного потока, можно ввести значения в редакторе форм или редакторе JSON для тестирования конечной точки.

Тестирование конечной точки, развернутой из потока чата

Для конечных точек, развернутых из потока чата, можно провести тестирование в иммерсивном окне чата.

Сообщение chat_input было установлено во время разработки потока чата. Сообщение можно поместить chat_input в поле ввода. Если поток содержит несколько входных данных, укажите значения для других входных данных, кроме chat_input сообщения на панели входных данных справа.

Использование конечной точки

На странице сведений о развертывании выберите вкладку "Использование ". Вы можете найти конечную точку REST и ключ или токен для использования конечной точки. Пример кода также доступен, чтобы работать с конечной точкой на различных языках.

Необходимо ввести значения для RequestBody или dataapi_key. Например, если в вашем потоке два входа, location и url, укажите данные, как в следующем примере:

 {
"location": "LA",
"url": "<the_url_to_be_classified>"
}

Очистка ресурсов

Если вы не собираетесь использовать конечную точку после завершения работы с этим руководством, удалите конечную точку. Полное удаление может занять 20 минут.

Связанное содержимое

• Узнайте больше о том, что можно сделать в Foundry.
• Получите ответы на часто задаваемые вопросы в Foundry FAQ.
• Включите трассировку и сбор отзывов для развертывания