Поделиться через

Развертывание потока вывода в режиме реального времени (классическая модель)

Замечание

Этот документ относится к порталу Microsoft Foundry (классическая модель).

🔍 Ознакомьтесь с документацией по Microsoft Foundry (новая), чтобы узнать о новом портале.

Это важно

Элементы, обозначенные в этой статье как (предварительная версия), сейчас предлагаются в общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания, и мы не рекомендуем ее для рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в разделе Supplemental Terms of Use for Microsoft Azure Previews.

После того, как вы создадите поток подсказок и протестируете его, вы можете развернуть его в качестве онлайн конечной точки. Развертывания размещаются в конечной точке. Они могут получать данные от клиентов и отправлять ответы в режиме реального времени.

Вы можете вызвать конечную точку для инференции в режиме реального времени для чата, копилота или другого генеративного приложения ИИ. Потоки запросов поддерживают развертывание конечной точки из потока или массового запуска тестов.

В этой статье вы узнаете, как развернуть поток как управляемую конечную точку в сети для вывода в режиме реального времени.

  • Протестируйте поток и подготовьте его к развертыванию.
  • Создание сетевого развертывания.
  • Предоставьте разрешения конечной точке.
  • Проверьте конечную точку.
  • Использование конечной точки.

Предпосылки

Это важно

Эта статья предоставляет устаревшую поддержку для проектов на основе концентраторов. Он не будет работать для проектов Foundry. См. Как мне узнать, какой тип проекта у меня есть?

Примечание о совместимости пакета SDK. Для примеров кода требуется определенная версия пакета SDK Для Microsoft Foundry. Если возникают проблемы совместимости, рассмотрите возможность перехода с проекта на базе концентратора на проект Foundry.

Чтобы развернуть поток запроса в качестве сетевой конечной точки, вам потребуется:

  • Подписка Azure. Если у вас нет подписки Azure, создайте учетную запись free.
  • Проект Microsoft Foundry.
  • Поставщик ресурсов Microsoft.PolicyInsights, зарегистрированный в вашей подписке. Дополнительные сведения см. в разделе Register поставщика ресурсов.

Создание сетевого развертывания

Создав поток и протестив его, создайте конечную точку в сети для вывода в режиме реального времени.

Чтобы развернуть поток запроса в качестве сетевой конечной точки на портале Foundry, выполните следующие действия.

  1. Подготовь поток запроса к развертыванию. Если у вас его нет, см. статью "Разработка потока запроса".

  2. Необязательно. Выберите чат , чтобы проверить правильность работы потока. Перед развертыванием рекомендуется протестировать поток.

  3. Выберите "Развернуть " в редакторе потоков.

    Снимок экрана: кнопка

  4. На странице "Основные параметры" укажите необходимые сведения.

    Снимок экрана: страница

  5. Выберите Review + Create. Или нажмите кнопку "Далее ", чтобы перейти к страницам расширенных параметров, которые не нужны для этой статьи.

  6. Выберите "Создать", чтобы развернуть поток запроса.

  7. Чтобы просмотреть состояние развертывания, выберите "Модели + конечные точки " на левой панели. После того как развертывание будет успешно создано, выберите его, чтобы просмотреть дополнительные сведения.

    Снимок экрана, показывающий состояние развертывания в процессе выполнения.

  8. Перейдите на вкладку "Использование ", чтобы просмотреть примеры кода, которые можно использовать для использования развернутой модели в приложении.

    На этой странице также отображается URL конечной точки, который можно использовать для обращения к конечной точке.

    Снимок экрана: страница сведений о развертывании.

  9. Вы можете использовать конечную точку REST напрямую или начать с одного из приведённых здесь примеров.

    Снимок экрана: конечная точка развертывания и примеры кода.

Сведения о развертывании базовой модели см. в статье "Развертывание моделей с помощью Foundry".

Параметры и конфигурации

Текстовый файл требований

При желании можно указать дополнительные пакеты, которые вам нужны в requirements.txt. В корневой папке папки потока можно найти requirements.txt . При развертывании потока запроса в управляемой сетевой конечной точке в пользовательском интерфейсе по умолчанию развертывание использует среду, созданную на основе базового образа, указанного в flow.dag.yaml , и зависимостей, указанных в requirements.txt.

Базовый образ, указанный в flow.dag.yaml, создается на основе базового образа потока запроса mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version>. Чтобы просмотреть последнюю версию, см. этот список. Если вы не укажете базовый образ в flow.dag.yaml, развертывание использует базовый образ по умолчанию mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latest.

Снимок экрана: указание базового образа в необработанном yaml-файле потока.

Основные параметры

На этом шаге вы настраиваете основные параметры при выборе " Развернуть " в редакторе потоков.

Недвижимость Description
Конечная точка Выберите, хотите ли вы развернуть новую конечную точку или обновить существующую конечную точку.
Если выбрать "Создать", необходимо указать имя конечной точки.
Название развертывания — В той же конечной точке имя развертывания должно быть уникальным.
— Если выбрать существующую конечную точку и ввести существующее имя развертывания, это развертывание перезаписывается новыми конфигурациями.
Виртуальная машина Размер виртуальной машины, используемой для развертывания.
Число экземпляров Число экземпляров, которые будут использоваться для развертывания. Укажите значение ожидаемой рабочей нагрузки. Для обеспечения высокой доступности рекомендуется задать значение по крайней мере 3. Мы резервируем дополнительные 20 % для выполнения обновлений.
Сбор данных вывода Если этот параметр включен, входные и выходные данные потока автоматически собираются в Azure Machine Learning ресурсе данных. Их можно использовать для последующего мониторинга.

После завершения работы с основными параметрами нажмите кнопку "Проверить и создать ", чтобы завершить создание. Вы также можете выбрать пункт "Далее ", чтобы настроить дополнительные параметры.

Дополнительные параметры: Конечная точка

Для конечной точки можно указать следующие параметры.

Снимок экрана: дополнительные параметры конечной точки.

В рабочем процессе "Дополнительные параметры" можно также указать теги развертывания и выбрать настраиваемую среду.

Снимок экрана: дополнительные параметры развертывания.

Тип аутентификации

Этот параметр определяет метод проверки подлинности для конечной точки. Проверка подлинности на основе ключей предоставляет первичный и вторичный ключ, срок действия которого не истекает. Аутентификация в Azure Machine Learning, основанная на токенах, предоставляет токен, который периодически обновляется.

Тип идентификации

Конечная точка должна иметь доступ к ресурсам Azure для инференции, например, Azure Container Registry или подключения вашего центра Foundry. Вы можете предоставить конечной точке разрешение на доступ к ресурсам Azure, дав разрешение её управляемому удостоверению.

Назначаемый системой идентификатор создается после создания конечной точки. Пользователь создает пользовательскую назначенную идентичность. Подробнее см. в разделе Управляемые удостоверения для ресурсов Azure.

Назначено системой

Параметр Обеспечение строгого доступа к секретам подключения (предпросмотр) включен по умолчанию. Если поток использует подключения, конечная точка должна получить доступ к подключениям для выполнения вывода.

Если у вас есть разрешение на чтение секретов подключения, конечная точка получает доступ к роли Читатель секретов подключения в рабочей области Azure Machine Learning для доступа к подключениям. Если этот параметр отключен, необходимо предоставить эту роль удостоверениям, назначенным системой, вручную или обратиться за помощью к администратору. Дополнительные сведения см. в разделе "Предоставление разрешения для удостоверения конечной точки".

Пользователь назначен

При создании развертывания Azure пытается извлечь образ контейнера пользователя из реестра контейнеров Foundry Hub и монтирует пользовательскую модель и артефакты кода в контейнер пользователя из учетной записи хранилища Foundry Hub.

Если вы создаете связанную конечную точку с опцией "Назначаемое пользователем удостоверение", предоставьте пользовательскому назначенному удостоверению следующие роли до создания развертывания. В противном случае создание развертывания не удается.

Область действия Role Почему это нужно
Проект литейного производства Роль для чтения секретов подключения к рабочей области в Azure Machine Learning или настраиваемая роль с Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action Возвращает подключения проекта.
Реестр контейнеров проекта Foundry ACR Pull Извлекает образы контейнеров.
Хранилище по умолчанию для проекта Foundry Чтение данных BLOB-объектов Загружает модель из хранилища.
Проект литейного производства Azure Machine Learning метрик-райтер (предварительная версия) После развертывания конечной точки, если вы хотите отслеживать метрики, связанные с ее использованием, такие как загрузка ЦП/GPU, диска или памяти, предоставьте идентификатору это разрешение.

Необязательно.

Дополнительные сведения о предоставлении разрешений удостоверению конечной точки см. в разделе "Предоставление разрешений удостоверению конечной точки".

Это важно

Если ваш поток данных использует подключения аутентификации на основе Microsoft Entra ID, всегда необходимо предоставить управляемому удостоверению соответствующие роли для соответствующих ресурсов, для возможности вызовов API к этому ресурсу. Эта конфигурация необходима для использования назначаемого системой удостоверения или удостоверения, назначаемого пользователем.

Например, если подключение Azure OpenAI использует аутентификацию на основе Microsoft Entra ID, необходимо предоставить управляемой учетной записи конечной точки роль пользователя Cognitive Services OpenAI или Участника Cognitive Services OpenAI для соответствующих ресурсов Azure OpenAI.

Дополнительные параметры: выходные данные и подключения

На данном этапе вы можете просмотреть все выходные данные потока и указать, какие из них следует включить в ответ развертываемой вами конечной точки. По умолчанию выбраны все выходные данные потока.

Можно также указать подключения, которые конечная точка использует при выполнении вывода. По умолчанию конечная точка наследует подключения от потока.

После настройки и проверки всех предыдущих шагов нажмите кнопку "Проверить и создать ", чтобы завершить создание.

Ожидается, что создание конечной точки займет более 15 минут. Этапы включают создание конечной точки, регистрацию модели и создание развертывания.

Процесс создания развертывания отправляет уведомление, начинающееся с Prompt flow deployment.

Активируйте трассировку, включив диагностику Application Insights в предварительном режиме.

Если эта возможность включена, данные трассировки и системные метрики в процессе вывода собираются в Application Insights, связанной с рабочей областью. Эти метрики включают количество токенов, временную задержку потока и запрос на поток. Дополнительные сведения см. в статье "Включение трассировки и сбор отзывов о развертывании потока".

Предоставление разрешений конечной точке

Это важно

Только владелец Azure ресурсов может предоставить разрешения, добавив назначение роли. Возможно, вам потребуется связаться с владельцем Azure подписки. Это может быть ИТ-администратор.

Мы рекомендуем предоставлять роли идентичности, назначаемой пользователем, сразу после завершения создания конечной точки. Для принятия в силу предоставленного разрешения может потребоваться более 15 минут.

Чтобы предоставить необходимые разрешения в Azure portal, выполните следующие действия.

  1. Перейдите на страницу сведений о проекте Foundry в Azure portal.

  2. Выберите Access control (IAM), а затем выберите Add role assignment.

    Скриншот, на котором показан контроль доступа с выделенной кнопкой добавления назначения роли.

  3. Выберите посредник доступа к секретам подключения рабочего пространства Azure Machine Learning и выберите Далее.

    Роль Azure Machine Learning средство чтения секретов подключения к рабочей области — это встроенная роль, которая имеет разрешение на получение подключений к концентратору.

    Если вы хотите использовать настраиваемую роль, убедитесь, что настраиваемая роль имеет разрешение Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action. Узнайте больше о как создавать пользовательские роли.

  4. Выберите управляемое удостоверение, а затем выберите участников.

    • Системно назначаемое удостоверение: в разделе Системно назначаемое управляемое удостоверение выберите Конечная точка для онлайн машинного обучения и найдите по имени конечной точки.
    • Назначаемое пользователем удостоверение: выберите управляемое удостоверение, назначаемое пользователем, и выполните поиск по имени удостоверения.

  5. Для идентификатора, назначенного пользователем, предоставьте разрешения реестру контейнеров хаба и учетной записи хранилища. Вы можете найти реестр контейнеров и учетную запись хранилища на странице обзора концентратора на портале Azure.

    Перейдите на страницу обзора реестра контейнеров концентратора и выберите Управление доступом>Добавить назначение роли. Назначьте ACR Pull идентификатору конечной точки.

    Перейдите на страницу обзора хранилища по умолчанию и выберите Access control>Добавить назначение роли. Назначьте Storage Blob Data Reader идентификатору конечной точки.

  6. Необязательно: Для назначенной пользователем идентичности, если вы хотите отслеживать метрики, связанные с конечными точками системы, такие как использование ЦП/ГПУ/диска/памяти, нужно предоставить роль записи метрик рабочей области этой идентичности от хаба.

Проверка состояния конечной точки

После завершения развертывания вы получите уведомления. После успешного создания конечной точки и развертывания выберите «Просмотреть сведения» на странице с подробной информацией о развертывании.

Вы также можете перейти непосредственно на страницу "Модель + конечные точки" на левой панели и выбрать развертывание, чтобы проверить состояние.

Тестирование конечной точки

На странице сведений о развертывании выберите вкладку "Тест ".

Для конечных точек, развернутых из стандартного потока, можно ввести значения в редакторе форм или редакторе JSON для тестирования конечной точки.

Тестирование конечной точки, развернутой из потока чата

Для конечных точек, развернутых из потока чата, его можно протестировать в иммерсивном окне чата.

Сообщение chat_input было установлено во время разработки потока чата. В поле ввода можно поместить chat_input сообщение. Если поток содержит несколько входных данных, укажите значения для других входных данных, кроме chat_input сообщения на панели входных данных справа.

Использование конечной точки

На странице сведений о развертывании выберите вкладку "Использование ". Вы можете найти конечную точку REST и ключ или токен для использования конечной точки. Пример кода также доступен для обращения к конечной точке на различных языках.

Снимок экрана: пример кода использования конечных точек.

Необходимо ввести значения для RequestBody или dataapi_key. Например, если ваш поток имеет два входа, location и url, укажите их данные, как показано в следующем примере:

 {
"location": "LA",
"url": "<the_url_to_be_classified>"
}

Очистите ресурсы

Если вы не собираетесь использовать конечную точку после завершения работы с этим руководством, удалите конечную точку. Полное удаление может занять 20 минут.

Связанный контент

  • Last updated on