Создание сеансов вычислений потока запросов и управление ими на портале Microsoft Foundry

Для выполнения потоков запросов требуется вычислительный сеанс. Используйте Microsoft Foundry для создания сеансов вычислений потоков запросов и управления ими.

Сеанс вычислений потока запросов содержит вычислительные ресурсы, необходимые для запуска приложения, включая образ Docker, содержащий все необходимые пакеты зависимостей. Помимо выполнения потока, Foundry использует сеанс вычислений для обеспечения точности и функциональности инструментов, включенных в поток при внесении обновлений в содержимое запроса или кода.

Предпосылки

• Учетная запись Azure с активной подпиской. Если у вас его нет, создайте бесплатную учетную запись Azure, которая включает бесплатную пробную подписку.
• Если у вас нет одного, создайте проект на основе концентратора.

Создание сеанса вычислений

При запуске сеанса вычислений можно использовать параметры по умолчанию или настроить дополнительные параметры.

Запуск сеанса вычислений с параметрами по умолчанию

По умолчанию вычислительный сеанс использует среду, определенную в flow.dag.yaml папке потока. Он выполняется на бессерверных вычислениях с размером виртуальной машины, для которого в рабочей области достаточно квоты.

1. Перейдите к проекту на портале Foundry.
2. В левой области выберите поток запроса и выберите поток, который вы хотите запустить.
3. На верхней панели инструментов потока запроса выберите "Пуск сеанса вычислений".

Запуск сеанса вычислений с дополнительными параметрами

В расширенных параметрах можно выбрать тип вычислений. Вы можете выбрать между бессерверными вычислительными и вычислительными экземплярами.

1. Перейдите к проекту на портале Foundry.

2. В левой области выберите поток запроса и выберите поток, который вы хотите запустить.

3. На верхней панели инструментов потока запроса щелкните стрелку раскрывающегося списка в правой части кнопки "Запуск сеанса вычислений". Выберите " Начать с дополнительных параметров" , чтобы настроить сеанс вычислений.

   

   Вы можете выбрать между бессерверными вычислительными и вычислительными экземплярами.

   • При выборе бессерверных вычислений можно задать следующие параметры:

     • Настройте размер виртуальной машины, используемой сеансом вычислений.
     • Настройте время простоя, которое сохраняет код путем автоматического удаления сеанса вычислений, если он не используется.
     • Задайте управляемое удостоверение, назначаемое пользователем. Сеанс вычислений использует это удостоверение для извлечения базового образа и установки пакетов. Убедитесь, что управляемое удостоверение, назначаемое пользователем, Реестр контейнеров Azure разрешение на вытягивание.

     Если удостоверение, назначаемое пользователем, не задано, поток запроса использует удостоверение пользователя по умолчанию. Узнайте больше о создании и обновлении удостоверений, назначенных пользователем для рабочей области.

     

   • При выборе вычислительного экземпляра можно задать только время простоя.

     • Так как это существующий вычислительный экземпляр, размер виртуальной машины исправлен и не может измениться на стороне сеанса вычислений.

     • Удостоверение, используемое для этого сеанса вычислений, также определяется в вычислительном экземпляре, по умолчанию использует удостоверение пользователя. Дополнительные сведения о назначении удостоверения вычислительному экземпляру

     • Время простоя используется для определения жизненного цикла сеанса вычислений. Если сеанс вычислений неактивен в течение заданного времени, он удаляется автоматически. Если в вычислительном экземпляре включено простое завершение работы, оно завершает работу, но не удаляется.

       

4. Нажмите кнопку "Рядом ", чтобы указать параметры базового образа. Используйте базовый образ по умолчанию или укажите пользовательский базовый образ. Если выбрать настраиваемый базовый образ, укажите URL-адрес изображения и тег изображения. Поддерживаются только образы в общедоступном реестре docker или Реестр контейнеров Azure (ACR). Если в ACR указан образ, убедитесь, что у вас (или у пользователя, назначаемого пользователем) разрешение на вытягивание ACR.

5. Нажмите кнопку Далее , чтобы просмотреть параметры.

6. Нажмите кнопку "Применить" и запустите сеанс вычислений, чтобы запустить сеанс вычислений.

Управление вычислительным сеансом

Чтобы управлять сеансом вычислений, выберите сеанс вычислений, запущенный на верхней панели инструментов страницы потока:

• Изменение параметров сеанса вычислений открывает страницу конфигурации сеанса вычислений, где можно определить сторону виртуальной машины и время простоя для сеанса вычислений.
• Установите пакеты из requirements.txt Открывается requirements.txt в пользовательском интерфейсе потока запросов, чтобы добавить пакеты.
• Просмотр установленных пакетов показывает пакеты , установленные в сеансе вычислений. Он включает пакеты, запеченные в базовый образ и пакеты, указанные в requirements.txt файле в папке потока.
• Сброс вычислительного сеанса удаляет текущий вычислительный сеанс и создает новый с той же средой. При возникновении конфликта пакета можно попробовать этот параметр.
• Остановка сеанса вычислений удаляет текущий вычислительный сеанс. Если в базовом бессерверном вычислении нет активного сеанса вычислений, ресурс вычислений также удаляется. Если сеанс вычислений находится в вычислительном экземпляре, остановка сеанса позволяет экземпляру перестать работать.

Вы можете настроить среду, используемую для запуска этого потока, добавив пакеты в файл в requirements.txt папку потока. После добавления дополнительных пакетов в этот файл выберите один из следующих вариантов:

• Сохраните и установите триггеры pip install -r requirements.txt в папке потока. Процесс может занять несколько минут в зависимости от установленных пакетов.
• Сохранение только сохраняет requirements.txt файл. Вы можете установить пакеты позже.

Добавление пакетов в частный веб-канал в Azure DevOps

Если вы хотите использовать частный веб-канал в Azure DevOps, выполните следующие действия.

1. Создайте управляемое удостоверение, назначаемое пользователем, и добавьте это удостоверение в организацию Azure DevOps. Дополнительные сведения см. в разделе "Использование субъектов-служб" и управляемых удостоверений.

   Замечание

   Если кнопка "Добавить пользователей" не отображается, у вас, вероятно, нет необходимых разрешений для выполнения этого действия.

2. Добавьте или обновите удостоверения, назначенные пользователем, в проект.

3. Добавьте {private} в URL-адрес частного веб-канала. Например, если вы хотите установить test_package из test_feed Azure devops, добавьте -i https://{private}@{test_feed_url_in_azure_devops} в requirements.txt:

   -i https://{private}@{test_feed_url_in_azure_devops}
   test_package
   

4. Укажите управляемое удостоверение, назначаемое пользователем, в меню "Пуск" с дополнительными параметрами , если сеанс вычислений не запущен, или нажмите кнопку "Изменить ", если сеанс вычислений запущен.

   

Изменение базового образа

По умолчанию в качестве базового образа используется последний образ потока запроса. Если вы хотите использовать другой базовый образ, необходимо создать собственный базовый образ. Образ docker должен быть построен из базового образа mcr.microsoft.com/azureml/promptflow/promptflow-runtime:<newest_version>потока запроса. Если возможно, используйте последнюю версию базового образа.

1. Откройте поток запроса.

2. На верхней панели инструментов выберите режим необработанного файла, чтобы включить редактирование в редакторе файлов.

3. Откройте раздел "Файлы" и выберите flow.dag.yaml.

   

4. Укажите изображение в environment разделе flow.dag.yaml файла. Например, чтобы использовать изображение <your-custom-image>, добавьте следующий код:

   environment:
       image: <your-custom-image>
       python_requirements_txt: requirements.txt
   

Обновление среды выполнения вычислительного экземпляра

Если вы ранее создали среду выполнения вычислительного экземпляра, переключите ее на вычислительный сеанс, выполнив следующие действия.

• requirements.txt Подготовьте файл в папке потока. Дополнительные сведения см. в разделе "Управление сеансом вычислений".

• Если вы создали настраиваемую среду, получите изображение на странице сведений о среде и укажите его в flow.dag.yaml файле в папке потока. Дополнительные сведения см. в разделе "Изменение базового образа". Убедитесь, что у вас есть acr pull разрешение на изображение.

• Вы можете продолжать использовать существующий вычислительный экземпляр, если вы хотите вручную управлять жизненным циклом.

Связанные ресурсы

• Дополнительные сведения о потоке запросов
• Разработка потока
• Разработка потока оценки