Конечные точки пакетной обработки

Машинное обучение Azure позволяет реализовать пакетные конечные точки и развертывания для выполнения длительных асинхронных выводов с помощью моделей машинного обучения и конвейеров. При обучении модели машинного обучения или конвейера необходимо развернуть ее, чтобы другие могли использовать ее с новыми входными данными для создания прогнозов. Этот процесс создания прогнозов с помощью модели или конвейера называется выводом.

Пакетные конечные точки принимают указатели на данные и выполняют задания асинхронно для параллельной обработки данных в вычислительных кластерах. Пакетные конечные точки сохраняют выходные данные в хранилище для дальнейшего анализа. Используйте пакетные конечные точки, когда:

Пакетные развертывания

Развертывание — это набор ресурсов и вычислений, необходимых для реализации функциональных возможностей, которые предоставляет конечная точка. Конечная точка может размещать несколько развертываний, каждая из которых имеет собственную конфигурацию, отсогласовав интерфейс конечной точки от сведений о реализации развертывания. При вызове конечной точки пакетной обработки она автоматически перенаправляет клиент на развертывание по умолчанию. Это развертывание по умолчанию можно настроить и изменить в любое время.

В конечных точках пакетной обработки Машинное обучение Azure можно использовать два типа развертываний:

• Развертывание модели
• Развертывание компонента конвейера

Развертывание модели

Развертывание модели позволяет выполнять операции вывода модели в масштабе, что позволяет обрабатывать большие объемы данных в низкой задержке и асинхронном способе. Машинное обучение Azure автоматически обеспечивает масштабируемость, путем параллелизации процессов вывода результатов на нескольких узлах в вычислительном кластере.

Используйте развертывание модели , когда:

Основные преимущества развертывания моделей заключаются в том, что вы можете использовать те же ресурсы, которые развертываются для вывода в режиме реального времени на сетевых конечных точках, но теперь их можно запускать в большом масштабе в пакетном режиме. Если для модели требуется простая предварительная обработка или после обработки, можно создать скрипт оценки , выполняющий необходимые преобразования данных.

Чтобы создать развертывание модели в пакетной конечной точке, необходимо указать следующие элементы:

• Модель
• Вычислительный кластер
• Скрипт оценки (необязательно для моделей MLflow)
• Среда (необязательно для моделей MLflow)

Развертывание компонента конвейера

Развертывание компонента конвейера позволяет выполнять операции всех графов обработки (или конвейеров) для выполнения пакетного вывода с низкой задержкой и асинхронным способом.

Используйте развертывание компонента конвейера , если:

Основным преимуществом развертываний компонентов конвейера является повторное использование компонентов, которые уже существуют в вашей платформе, и возможность операционизировать сложные подпрограммы вывода.

Чтобы создать развертывание компонента конвейера в пакетной конечной точке, необходимо указать следующие элементы:

• Компонент конвейера
• Конфигурация вычислительного кластера

Конечные точки пакетной службы также позволяют создавать развертывания компонентов конвейера на основе существующего задания конвейера. При этом Машинное обучение Azure автоматически создает компонент конвейера из задания. Это упрощает использование таких развертываний. Однако рекомендуется всегда создавать компоненты конвейера явным образом, чтобы упростить практику MLOps.

Управление затратами

Вызов пакетной конечной точки запускает асинхронную задачу на выполнение выводов. Машинное обучение Azure автоматически подготавливает вычислительные ресурсы при запуске задания и автоматически освобождает их по завершении задания. Таким образом, вы оплачиваете только вычислительные ресурсы при его использовании.

Пакетные конечные точки также могут выполняться на виртуальных машинах с низким приоритетом. Конечные точки пакетной службы могут автоматически восстановиться с выделенных виртуальных машин и возобновить выполнение задач с того места, где оно было прервано, при развертывании моделей для вывода. Дополнительные сведения о том, как использовать виртуальные машины с низким приоритетом для уменьшения затрат на рабочие нагрузки пакетного вывода, см. в статье Использование виртуальных машин с низким приоритетом в конечных точках пакетной службы.

Наконец, Машинное обучение Azure не требует оплаты за конечные точки пакетной обработки или развертывания пакетной обработки, так что вы можете упорядочить конечные точки и развертывания таким образом, чтобы они наилучшим образом соответствовали вашему сценарию. Конечные точки и развертывания могут использовать независимые или общие кластеры, также можно добиться точного контроля над тем, какие вычислительные ресурсы используют задания. Используйте масштабирование к нулю в кластерах, чтобы гарантировать, что ресурсы не используются при простое.

Оптимизация практики MLOps

Пакетные конечные точки могут обрабатывать несколько развертываний в рамках одного конечного узла, что позволяет изменять реализацию узла, не изменяя URL-адрес, используемый потребителями для его вызова.

Вы можете добавлять, удалять и обновлять развертывания, не затрагивая саму конечную точку.

Гибкие источники данных и хранилище

Конечные точки пакетной обработки считывают и записывают данные непосредственно из хранилища. Вы можете указать Машинное обучение Azure хранилища данных, Машинное обучение Azure ресурсы данных или учетные записи хранения в качестве входных данных. Для получения дополнительной информации о поддерживаемых параметрах ввода и способах их указания см. Создание заданий и ввод данных для пакетных конечных точек.

Безопасность

Пакетные конечные точки предоставляют все необходимые функции для работы производственных нагрузок в корпоративной среде. Они поддерживают частную сеть в защищенных рабочих областях и аутентификацию Microsoft Entra с помощью учетной записи пользователя (например, учетной записи пользователя) или учетной записи службы (например, управляемого или неуправляемого удостоверения). Задания, созданные пакетной конечной точкой выполнения, выполняются под удостоверением вызывающего, что позволяет реализовать любой сценарий. Дополнительные сведения об авторизации при использовании конечных точек пакетной службы см. в статье "Проверка подлинности в конечных точках пакетной службы".

Связанное содержимое

• Развертывание моделей с помощью пакетных конечных точек
• Развертывание конвейеров с помощью пакетных конечных точек
• Развертывание моделей MLFlow в пакетных развертываниях
• Создание заданий и введение данных для пакетных конечных точек
• Сетевая изоляция для пакетных конечных точек