Конечные точки для вывода в рабочей среде

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение машинного обучения Azure CLI версии 2 (current)Python SDK azure-ai-ml версии 2 (current)

После обучения моделей машинного обучения или конвейеров или найденных моделей из каталога моделей, которые соответствуют вашим потребностям, необходимо развернуть их в рабочей среде, чтобы другие могли использовать их для вывода. Вывод — это процесс применения новых входных данных к модели машинного обучения или конвейеру для создания выходных данных. Хотя эти выходные данные обычно называются "прогнозами", вывод можно использовать для создания выходных данных для других задач машинного обучения, таких как классификация и кластеризация. В Машинное обучение Azure вы выполняете вывод с помощью конечных точек.

Конечные точки и развертывания

Конечная точка — это стабильный и устойчивый URL-адрес, который можно использовать для запроса или вызова модели. Вы предоставляете необходимые входные данные конечной точке и возвращаете выходные данные. Машинное обучение Azure позволяет реализовать стандартные развертывания, сетевые конечные точки и пакетные конечные точки. Конечная точка предоставляет:

• стабильный и устойчивый URL-адрес (например , endpoint-name.region.inference.ml.azure.com),
• механизм проверки подлинности и
• механизм авторизации.

Развертывание — это набор ресурсов и вычислений, необходимых для размещения модели или компонента, выполняющего фактическое вывод. Конечная точка содержит развертывание, а для сетевых и пакетных конечных точек одна конечная точка может содержать несколько развертываний. Развертывания могут размещать независимые ресурсы и использовать различные ресурсы в зависимости от потребностей ресурсов. Кроме того, конечная точка имеет механизм маршрутизации, который может направлять запросы к любому из его развертываний.

С одной стороны, некоторые типы конечных точек в Машинное обучение Azure используют выделенные ресурсы для их развертываний. Для выполнения этих конечных точек необходимо иметь квоту вычислений в подписке Azure. С другой стороны, некоторые модели поддерживают бессерверное развертывание, что позволяет им не использовать квоту из подписки. Для бессерверного развертывания выставляются счета на основе использования.

Интуиция

Предположим, вы работаете над приложением, которое прогнозирует тип и цвет автомобиля, учитывая его фотографию. Для этого приложения пользователь с определенными учетными данными выполняет HTTP-запрос по URL-адресу и предоставляет фотографию автомобиля в рамках запроса. В обратном случае пользователь получает ответ, включающий тип и цвет автомобиля в виде строковых значений. В этом сценарии URL-адрес служит конечной точкой.

Кроме того, говорят, что специалист по обработке и анализу данных Алиса работает над реализацией приложения. Алиса знает много о TensorFlow и решает реализовать модель с помощью последовательного классификатора Keras с архитектурой RestNet из Концентратора TensorFlow. После тестирования модели Алиса удовлетворена своими результатами и решает использовать модель для решения проблемы прогнозирования автомобиля. Для работы модели требуется 8 ГБ памяти с 4 ядрами. В этом сценарии модель Алисы и ресурсы, такие как код и вычислительные ресурсы, необходимые для запуска модели, составляют развертывание в конечной точке.

Предположим, что через пару месяцев организация обнаруживает, что приложение плохо работает на изображениях с менее чем идеальными условиями освещения. Боб, другой специалист по обработке и анализу данных, знает много о методах расширения данных, которые помогают модели построить надежность на этом факторе. Тем не менее, Боб чувствует себя более комфортно с помощью Факела для реализации модели и обучения новой модели с Факелом. Боб хочет попробовать эту модель в рабочей среде постепенно, пока организация не готова выйти из эксплуатации старой модели. Новая модель также обеспечивает более высокую производительность при развертывании на GPU, поэтому развертывание должно включать GPU. В этом сценарии модель Боба и ресурсы, такие как код и вычислительные ресурсы, необходимые для запуска модели, составляют другое развертывание в той же конечной точке.

Конечные точки: стандартное развертывание, онлайн и пакетное выполнение

Машинное обучение Azure позволяет реализовать стандартные развертывания, сетевые конечные точки и пакетные конечные точки.

Стандартное развертывание и онлайн конечные точки предназначены для выполнения операций вывода в реальном времени. При вызове конечной точки результаты возвращаются в ответе конечной точки. Стандартные развертывания не используют квоту из подписки; они оплачиваются по стандартной системе выставления счетов.

Конечные точки пакетной службы предназначены для длительного вывода пакетной службы. При вызове конечной точки пакетной службы создается пакетное задание, выполняющее фактическую работу.

Когда следует использовать стандартные конечные точки развертывания, онлайн и пакетные конечные точки

стандартное развертывание:

Используйте стандартные развертывания для задействования крупных базовых моделей при выводе в режиме реального времени, готовых к использованию, или для их тонкой настройки. Не все модели доступны для развертывания в стандартных развертываниях. Мы рекомендуем использовать этот режим развертывания, если:

Сетевые конечные точки:

Используйте сетевые конечные точки для операционализации моделей для вывода в режиме реального времени синхронных запросов с низкой задержкой. Мы рекомендуем использовать их при:

Конечные точки пакетной службы:

Используйте пакетные конечные точки для операционализации моделей или конвейеров для длительного асинхронного вывода. Мы рекомендуем использовать их при:

Сравнение стандартного развертывания, онлайн и пакетных конечных точек.

Все стандартные конечные точки развертывания, онлайн и пакетные конечные точки основаны на концепции конечных точек, поэтому вы можете легко переходить с одной на другую. Сетевые и пакетные конечные точки также могут управлять несколькими развертываниями для одной конечной точки.

Конечные точки

В следующей таблице представлена сводка различных функций, доступных для стандартных развертываний, а также онлайн и пакетных конечных точек на уровне конечной точки.

¹Взимается небольшая сумма за каждую минуту стандартного развертывания. См. раздел "Развертывания" для расходов, связанных с потреблением, которые выставляются за токен.

Развертывания

В следующей таблице показана сводка различных функций, доступных для стандартных развертываний, а также онлайн- и пакетных конечных точек на уровне развертывания. Эти понятия применяются к каждому развертыванию в конечной точке (для сетевых и пакетных конечных точек) и применяются к стандартному развертыванию (где концепция развертывания встроена в конечную точку).

² . Для развертывания моделей MLflow в конечных точках без исходящего подключения к Интернету или частных сетей сначала требуется упаковка модели .

³Сервер вывода относится к технологии обслуживания, которая принимает запросы, обрабатывает их и создает ответы. Сервер вывода также определяет формат входных данных и ожидаемых выходных данных.

⁴Автомасштабирование — это возможность динамически масштабировать выделенные ресурсы развертывания или уменьшить его масштаб на основе его нагрузки. В сети и пакетных развертываниях используются различные стратегии автомасштабирования. В то время как сетевые развертывания масштабируются вверх и вниз на основе использования ресурсов (например, ЦП, памяти, запросов и т. д.), конечные точки пакетной службы масштабируются вверх или вниз на основе числа созданных заданий.

⁵ Как в сети, так и в пакетном развертывании взимается плата за ресурсы, используемые. В сетевых развертываниях ресурсы подготавливаются во время развертывания. В пакетном развертывании ресурсы не используются во время развертывания, но во время выполнения задания. Следовательно, нет затрат, связанных с самим пакетным развертыванием. Аналогичным образом, в очередях задания не используются ресурсы.

Интерфейсы для разработчиков

Конечные точки предназначены для работы рабочих нагрузок на уровне рабочей среды в Машинное обучение Azure. Конечные точки являются надежными и масштабируемыми ресурсами, и они предоставляют лучшие возможности для реализации рабочих процессов MLOps.

Вы можете создавать пакетные и сетевые конечные точки и управлять ими с помощью нескольких средств разработчика:

• Azure CLI и пакет SDK для Python
• Azure Resource Manager или REST API
• Веб-портал Студии машинного обучения Azure
• Портал Azure (ИТ-администратор)
• Поддержка конвейеров CI/CD MLOps с использованием интерфейса Azure CLI и интерфейсов REST/ARM

Связанный контент

• Развертывание и оценка модели машинного обучения с помощью сетевой конечной точки
• Развертывание моделей для оценки в пакетных конечных точках
• Развертывание конвейеров с помощью конечных точек пакетной службы
• Как выполнять мониторинг управляемых сетевых конечных точек