Поделиться через

Что такое Windows ML

Машинное обучение Windows позволяет разработчикам C#, C++и Python запускать модели ИИ ONNX локально на компьютерах Windows с помощью среды выполнения ONNX с автоматическим управлением поставщиком выполнения для различных аппаратных устройств (ЦП, GPU, NPUs). Среда выполнения ONNX может использоваться с моделями из PyTorch, Tensorflow/Keras, TFLite, scikit-learn и других платформ.

Схема, демонстрирующая, как модель ONNX попадает в Windows ML, а затем в NPU, GPU и ЦП.

Если вы еще не знакомы со средой выполнения ONNX, рекомендуем ознакомиться с документацией по среде выполнения ONNX. Короче говоря, Windows ML предоставляет общую копию среды выполнения ONNX, а также возможность динамического скачивания поставщиков выполнения (EPS).

Ключевые преимущества

  • Динамически получать последние ip-адреса . Автоматически загружает и управляет последними поставщиками выполнения для конкретного оборудования
  • Общая среда выполнения ONNX— использует системную среду выполнения вместо объединение собственных, уменьшая размер приложения.
  • Небольшие загрузки и установки . Нет необходимости переносить большие электронные адреса и среду выполнения ONNX в приложении.
  • Широкая поддержка оборудования . Запуски на компьютерах Windows (x64 и ARM64) и Windows Server с любой конфигурацией оборудования

Системные требования

  • ОС: Windows 10 версии 1809 (сборка 17763) и более поздней версии или Windows Server 2019 и более поздних версий
  • Архитектура: x64 или ARM64
  • Оборудование: любая конфигурация ПК (ЦП, интегрированные и дискретные GPU, NPUs)

Что такое поставщик выполнения?

Поставщик выполнения (EP) — это компонент, который обеспечивает оптимизацию оборудования для операций машинного обучения (ML). Поставщики выполнения абстрагируют различные серверные серверы вычислений (ЦП, GPU, специализированные акселераторы) и предоставляют унифицированный интерфейс для секционирования графов, регистрации ядра и выполнения оператора. Дополнительные сведения см. в документации по среде выполнения ONNX.

Здесь можно просмотреть список ip-адресов, поддерживаемых Windows ML.

Принцип работы

Windows ML включает копию среды выполнения ONNX и позволяет динамически скачивать поставщиков выполнения для конкретных поставщиков ,поэтому вывод модели можно оптимизировать в различных ЦП, GPU и NPUs в экосистеме Windows.

Автоматическое развертывание

  1. Установка приложения — загрузчик пакета SDK для windows инициализирует Windows ML
  2. Обнаружение оборудования — среда выполнения определяет доступные процессоры
  3. Скачивание EP — автоматически скачивает оптимальных поставщиков выполнения
  4. Готово к выполнению . Ваше приложение может немедленно использовать модели ИИ

Это устраняет необходимость:

  • Поставщики пакетов для конкретных поставщиков оборудования
  • Создание отдельных сборок приложений для разных поставщиков выполнения
  • Обработка обновлений поставщика выполнения вручную

Замечание

Вы по-прежнему отвечаете за оптимизацию моделей для разного оборудования. Windows ML обрабатывает распределение поставщика выполнения, а не оптимизацию модели. Дополнительные сведения об оптимизации см. в статье "Набор средств ИИ" и учебники по среде выполнения ONNX .

Оптимизация производительности

Последняя версия Windows ML работает непосредственно с выделенными поставщиками выполнения для графических процессоров и NPUs, обеспечивая производительность на металле, которая находится на уровне выделенных пакетов SDK прошлого, таких как TensorRT для RTX, AI Engine Direct и Расширение Intel для PyTorch. Мы разработали Машинное обучение Windows, чтобы иметь лучшую производительность GPU и NPU в классе, сохраняя преимущества записи после запуска в любом месте, которое предложило предыдущее решение на основе DirectML.

Использование поставщиков выполнения с Windows ML

Среда выполнения Машинного обучения Windows предоставляет гибкий способ доступа к поставщикам выполнения машинного обучения (EPS), которые могут оптимизировать вывод модели машинного обучения на различных аппаратных конфигурациях. Эти EPs предоставляются как отдельные пакеты, которые можно обновлять независимо от операционной системы. Дополнительные сведения о динамической загрузке и регистрации EPS см. в документации по инициализации поставщиков операций выполнения с помощью Windows ML .

Преобразование моделей в ONNX

Модели можно преобразовать из других форматов в ONNX, чтобы использовать их с Windows ML. Чтобы узнать больше, ознакомьтесь с документацией Visual Studio Code AI Toolkit по преобразованию моделей в формат ONNX. Дополнительные сведения о преобразовании моделей PyTorch, TensorFlow и Hugging Face в ONNX см. в руководствах по среде выполнения ONNX .

управление моделями

Windows ML предоставляет гибкие возможности для управления моделями ИИ:

  • Каталог моделей — динамическое скачивание моделей из онлайн-каталогов без объединение больших файлов
  • Локальные модели . Включение файлов моделей непосредственно в пакет приложения

Интеграция с экосистемой Windows AI

Windows ML служит основой для более широкой платформы ИИ Windows:

  • API Windows AI — встроенные модели для распространенных задач
  • Foundry Local — готовые модели ИИ
  • Пользовательские модели — прямой доступ к API машинного обучения Windows для расширенных сценариев

Предоставление отзывов

Обнаружена проблема или есть предложения? Поиск или создание проблем в GitHub пакета SDK для приложений Windows.

Дальнейшие шаги

  • Last updated on