Развертывание потока вывода в режиме реального времени
Внимание
Элементы, обозначенные в этой статье как (предварительная версия), сейчас предлагаются в общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания, и мы не рекомендуем ее для рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.
После сборки потока запроса и его правильного тестирования может потребоваться развернуть его в качестве сетевой конечной точки. Развертывания размещаются в конечной точке и могут получать данные от клиентов и отправлять ответы обратно в режиме реального времени.
Вы можете вызвать конечную точку для вывода в режиме реального времени для чата, copilot или другого создаваемого приложения ИИ. Поток запросов поддерживает развертывание конечных точек из потока или из массового тестового запуска.
В этой статье вы узнаете, как развернуть поток как управляемую конечную точку в сети для вывода в режиме реального времени. Теперь необходимо выполнить следующие шаги:
- Протестируйте поток и подготовьте его к развертыванию.
- Создание сетевого развертывания.
- Предоставьте разрешения конечной точке.
- Проверьте конечную точку.
- Использование конечной точки.
Необходимые компоненты
Чтобы развернуть поток запроса в качестве сетевой конечной точки, вам потребуется:
- Подписка Azure. Если у вас еще нет подписки Azure, создайте бесплатную учетную запись, прежде чем начать работу.
- Проект Azure AI Studio.
Создание сетевого развертывания
Теперь, когда вы создали поток и правильно проверили его, пришло время создать конечную точку в Интернете для вывода в режиме реального времени.
Выполните приведенные ниже действия, чтобы развернуть поток запроса в качестве веб-конечной точки в Azure AI Studio.
Подготовь поток запроса к развертыванию. Если у вас нет одного, узнайте , как создать поток запроса.
Необязательно. Выберите чат , чтобы проверить правильность работы потока. Рекомендуется протестировать поток перед развертыванием.
Выберите "Развернуть " в редакторе потоков.
Укажите запрошенные сведения на странице "Основные параметры " в мастере развертывания.
Выберите "Рецензирование и создание", чтобы просмотреть параметры и создать развертывание. В противном случае можно нажать кнопку "Далее ", чтобы перейти к страницам расширенных параметров.
Выберите "Создать", чтобы развернуть поток запроса.
Чтобы просмотреть состояние развертывания, выберите "Модели + конечные точки" в области навигации слева. После успешного создания развертывания можно выбрать развертывание для просмотра сведений.
Перейдите на вкладку "Использование ", чтобы просмотреть примеры кода, которые можно использовать для использования развернутой модели в приложении.
Примечание.
На этой странице также отображается URL-адрес конечной точки, который можно использовать для использования конечной точки.
Вы можете использовать конечную точку REST непосредственно или начать работу с одним из примеров, показанных здесь.
Дополнительные сведения см. в разделе ниже.
Совет
Руководство по развертыванию базовой модели см. в статье "Развертывание моделей с помощью Azure AI Studio".
Параметры и конфигурации
Текстовый файл требований
При необходимости можно указать дополнительные пакеты, необходимые в requirements.txt. В корневой папке папки потока можно найти requirements.txt . При развертывании потока запроса в управляемой сетевой конечной точке в пользовательском интерфейсе развертывание по умолчанию использует среду, созданную на основе базового образа, указанного в зависимостях, указанных в flow.dag.yaml requirements.txt потоке.
Примечание.
Базовый образ, указанный в flow.dag.yaml нем, должен быть создан на основе базового образа mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version> потока запроса, и здесь можно найти последнюю версию. Если в ней не указан базовый образ flow.dag.yaml, развертывание будет использовать базовый образ mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latestпо умолчанию.
Основные параметры
Этот шаг позволяет настроить базовые параметры при выборе " Развернуть " в редакторе потоков.
| Свойство | Description |
|---|---|
| Конечная точка | Можно выбрать, следует ли развертывать новую конечную точку или обновлять существующую конечную точку. Если выбрать "Создать", необходимо указать имя конечной точки. |
| Deployment name (Имя развертывания) | — В той же конечной точке имя развертывания должно быть уникальным. — Если выбрать существующую конечную точку и ввести существующее имя развертывания, то это развертывание будет перезаписан новыми конфигурациями. |
| Виртуальная машина | Размер виртуальной машины, используемый для развертывания. |
| Число экземпляров | Число экземпляров, которые будут использоваться для развертывания. Укажите значение ожидаемой рабочей нагрузки. Для обеспечения высокой доступности рекомендуется задать значение по крайней мере 3. Мы резервируем дополнительные 20 % для выполнения обновлений. |
| Сбор данных вывода | Если включить это, входные и выходные данные потока автоматически собираются в Машинное обучение Azure ресурсе данных и могут использоваться для последующего мониторинга. |
После завершения базовых параметров можно напрямую просмотреть и создать , чтобы завершить создание, или выбрать пункт "Далее ", чтобы настроить дополнительные параметры.
Дополнительные параметры — конечная точка
Для конечной точки можно указать следующие параметры.
В рабочем процессе расширенных параметров можно также указать теги развертывания и выбрать настраиваемую среду.
Тип аутентификации
Способ проверки подлинности для конечной точки. Проверка подлинности на основе ключей предоставляет первичный и вторичный ключ, срок действия которого не истекает. Машинное обучение Azure аутентификация на основе маркеров предоставляет маркер, который периодически обновляется автоматически.
Тип удостоверения
Конечная точка должна получить доступ к ресурсам Azure, таким как Реестр контейнеров Azure или подключения центра AI Studio для вывода. Разрешение конечной точки на доступ к ресурсам Azure можно разрешить, предоставив ему разрешение на управляемое удостоверение.
Назначаемое системой удостоверение будет автоматически создано после создания конечной точки, а назначаемое пользователем удостоверение создается пользователем. Узнайте больше об управляемых удостоверениях.
Назначаемое системой
Вы заметили, есть ли параметр принудительного доступа к секретам подключения (предварительная версия). Если поток использует подключения, конечная точка должна получить доступ к подключениям для выполнения вывода. Параметр включен по умолчанию, конечная точка предоставляется Машинное обучение Azure роль читателя секретов подключения рабочей области для автоматического доступа к подключениям, если у вас есть разрешение на средство чтения секретов подключений. Если этот параметр отключен, необходимо предоставить эту роль назначаемого системой удостоверения вручную или попросить справку от администратора. Узнайте больше о том, как предоставить разрешение на удостоверение конечной точки.
Назначаемое пользователем
При создании развертывания Azure пытается извлечь образ контейнера пользователя из Реестр контейнеров Azure центра Azure AI Studio (ACR) и подключает модель пользователя и артефакты кода в контейнер пользователя из учетной записи хранения центра.
Если вы создали связанную конечную точку с назначенным пользователем удостоверение, удостоверение, назначаемое пользователем, должно быть предоставлено следующие роли перед созданием развертывания. В противном случае создание развертывания завершается ошибкой.
| Область | Роль | Роль |
|---|---|---|
| Проект AI Studio | Роль чтения секретов при подключении рабочей области машинного обучения Azure ИЛИ настраиваемая роль с Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action |
Установка подключений к проекту |
| Реестр контейнеров проектов AI Studio | Извлечение ACR | Извлечение образа контейнера |
| Хранилище проекта AI Studio по умолчанию | читатель данных больших двоичных объектов хранилища. | Загрузка модели из хранилища |
| Проект AI Studio | Средство записи метрик рабочей области | После развертывания конечной точки, если вы хотите отслеживать связанные с конечной точкой метрики, такие как загруженность ЦП, графического процессора, диска или памяти, необходимо предоставить данное разрешение удостоверению. Необязательно |
Подробные инструкции по предоставлению разрешений удостоверению конечной точки в предоставлении разрешений конечной точке.
Внимание
Если в потоке используются подключения проверки подлинности на основе идентификатора Microsoft Entra, независимо от того, используется назначаемое системой удостоверение или удостоверение, назначаемое пользователем, всегда необходимо предоставить управляемому удостоверению соответствующие роли соответствующих ресурсов, чтобы он смог выполнять вызовы API к этому ресурсу. Например, если подключение Azure OpenAI использует проверку подлинности на основе идентификатора Microsoft Entra, необходимо предоставить конечную точку управляемому удостоверению Cognitive Services OpenAI User или Cognitive Services Участника OpenAI соответствующих ресурсов Azure OpenAI .
Дополнительные параметры — выходные данные и подключения
На этом шаге можно просмотреть все выходные данные потока и указать, какие выходные данные следует включить в ответ развернутой конечной точки. По умолчанию выбраны все выходные данные потока.
Можно также указать подключения, используемые конечной точкой при выполнении вывода. По умолчанию они наследуются от потока.
После настройки и проверки всех описанных выше действий можно выбрать "Просмотр и создание ", чтобы завершить создание.
Примечание.
Ожидается, что создание конечной точки занимает около 15 минут, так как она содержит несколько этапов, включая создание конечной точки, регистрацию модели, создание развертывания и т. д.
Ход создания развертывания можно понять с помощью уведомления, начинаемого с развертывания потока запроса.
Включение трассировки путем включения application Insights диагностика (предварительная версия)
Если включить эту функцию, данные трассировки и системные метрики во время вывода (например, количество маркеров, задержка потока, запрос потока и т. д.) будут собираться в связанную рабочую область Application Insights. Дополнительные сведения см. в статье "Запросы на обслуживание данных трассировки и метрик".
Предоставление разрешений конечной точке
Внимание
Предоставление разрешений (добавление назначения ролей) разрешено только роли Владелец для определенных ресурсов Azure. Возможно, вам потребуется обратиться за помощью к владельцу подписки Azure (кто может быть ИТ-администратором).
Перед созданием развертывания рекомендуется предоставить роли назначенному пользователем удостоверению. Для принятия в силу предоставленного разрешения может потребоваться более 15 минут.
Чтобы предоставить необходимые разрешения в пользовательском интерфейсе портал Azure, выполните следующие действия.
Перейдите на страницу обзора проекта Azure AI Studio в портал Azure.
Выберите элемент управления доступом и выберите "Добавить назначение ролей".
Выберите средство чтения секретов подключения к рабочей области Машинное обучение Azure, перейдите к разделу "Далее".
Примечание.
Роль чтения секретов секретов подключения к рабочей области Машинное обучение Azure — это встроенная роль, которая имеет разрешение на получение подключений к концентратору.
Если вы хотите использовать настраиваемую роль, убедитесь, что настраиваемая роль имеет разрешение
Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action. Узнайте больше о создании пользовательских ролей.Выберите управляемое удостоверение и выберите участников.
Для удостоверения, назначаемого системой, выберите конечную точку машинного обучения в разделе управляемого удостоверения, назначаемого системой, и выполните поиск по имени конечной точки.
Для удостоверения, назначаемого пользователем, выберите управляемое удостоверение, назначаемое пользователем, и выполните поиск по имени удостоверения.
Для назначаемого пользователем удостоверения также необходимо предоставить разрешения для реестра контейнеров концентратора и учетной записи хранения. Реестр контейнеров и учетная запись хранения можно найти на странице обзора концентратора в портал Azure.
Перейдите на страницу обзора реестра контейнеров концентратора, выберите элемент Управления доступом и выберите " Добавить назначение ролей" и назначьте запрос ACR |Извлечение образа контейнера в удостоверение конечной точки.
Перейдите на страницу обзора хранилища по умолчанию концентратора, выберите элемент Управления доступом и выберите "Добавить назначение роли" и назначьте читателю данных BLOB-объектов хранилища удостоверение конечной точки.
(необязательно) Для удостоверения, назначаемого пользователем, если вы хотите отслеживать связанные с конечной точкой метрики, такие как ЦП/GPU, использование диска или памяти, необходимо также предоставить роль записи метрик рабочей области концентратору удостоверения.
Проверка состояния конечной точки
После завершения работы мастера развертывания будут уведомления. После успешного создания конечной точки и развертывания можно выбрать просмотр сведений на странице сведений о развертывании.
Вы также можете напрямую перейти на страницу "Развертывания" в области навигации слева, выбрать развертывание и проверить состояние.
Тестирование конечной точки
На странице сведений о развертывании перейдите на вкладку "Тест ".
Для конечных точек, развернутых из стандартного потока, можно ввести значения в редакторе форм или редакторе JSON для тестирования конечной точки.
Тестирование конечной точки, развернутой из потока чата
Для конечных точек, развернутых из потока чата, его можно протестировать в иммерсивном окне чата.
Он chat_input был установлен во время разработки потока чата. В поле ввода можно ввести chat_input сообщение. Если поток содержит несколько входных данных, панель входных данных в правой части — это для указания значений для других входных данных, кроме chat_inputвходных данных.
Использование конечной точки
На странице сведений о развертывании перейдите на вкладку "Использование ". Вы можете найти конечную точку REST и ключ или токен для использования конечной точки. Существует также пример кода для использования конечной точки на разных языках.
Необходимо ввести значения для RequestBody или data api_key. Например, если поток имеет 2 входных данных location , а urlзатем необходимо указать данные следующим образом.
{
"location": "LA",
"url": "<the_url_to_be_classified>"
}
Очистка ресурсов
Если вы не собираетесь использовать конечную точку после завершения работы с этим руководством, удалите конечную точку.
Примечание.
Полное удаление может занять около 20 минут.
Next Steps
- Дополнительные сведения о том, что можно сделать в Azure AI Studio
- Ответы на часто задаваемые вопросы и ответы по Azure AI
- [Включение трассировки и сбор отзывов о развертывании] (./develop/trace-production-sdk.md)