Что такое Windows ML?

Windows ML — это единая и высокопроизводительная локальная платформа вывода искусственного интеллекта для Windows, на основе среды выполнения ONNX. С помощью Windows ML вы можете локально запускать модели ИИ и ускорить инференс на НП, ГП и ЦП с помощью необязательных провайдеров выполнения, которыми управляет Windows и поддерживает их актуальное состояние. Вы можете использовать модели из PyTorch, TensorFlow/Keras, TFLite, scikit-learn и других платформ с Windows ML.

Ключевые преимущества

Windows ML упрощает вывод искусственного интеллекта в любое приложение Для Windows:

• Запустите ИИ на устройстве — модели выполняются локально на оборудовании пользователя, сохранении конфиденциальности данных, устранении затрат на облако и работе без подключения к Интернету.
• Используйте уже имеющиеся модели — доведите модели из PyTorch, TensorFlow, scikit-learn, Hugging Face и многое другое.
• Аппаратное ускорение, поддерживаемое Windows — Windows ML позволяет получать доступ к специфическим для IHV НПУ, ГПУ и ЦПУ через поставщиков выполнения, которые устанавливаются и обновляются с помощью Центра обновления Windows, — не нужно включать поставщиков выполнения в ваше приложение.
• Одна среда выполнения, многие приложения — можно использовать Windows ML в качестве общего системного компонента, чтобы ваше приложение оставалось небольшим, а все приложения на устройстве использовали одну и ту же актуальную среду выполнения, а не каждое приложение включало свою собственную копию.
• Лучшая производительность в классе — Windows ML обеспечивает производительность на виртуальных машинах и графических процессорах на одном уровне с выделенными пакетами SDK, такими как TensorRT для RTX или Ai Engine Direct. Результаты производительности зависят от параметров конфигурации оборудования и модели — см. статью «Ускорение моделей ИИ» для получения рекомендаций по конкретным аппаратным средствам.

Зачем использовать Windows ML вместо Microsoft ORT?

Windows ML — это поддерживаемая и обслуживаемая Windows копия среды выполнения ONNX (ORT), доступная как системная или автономная копия.

• Те же API ONNX — нет изменений в существующем коде среды выполнения ONNX
• Поддерживаемые Windows — поддерживаются и обслуживаются командой Windows
• Широкая поддержка оборудования — работает на компьютерах Windows (x64 и ARM64) и Windows Server с любой конфигурацией оборудования.
• Необязательный меньший размер приложения — выберите зависимое от фреймворка развертывание и разделите среду выполнения между приложениями, вместо упаковки собственной копии.
• Необязательные постоянно обновляемые обновления — выберите зависимую от платформы организацию развертывания, и ваши пользователи всегда будут получать последнюю исполняемую среду через Центр обновления Windows.

Кроме того, Windows ML позволяет вашему приложению динамически получать актуальных поставщиков исполнения для ускорения моделей ИИ, без интеграции этих компонентов в приложение и необходимости создания отдельных сборок для различного оборудования.

Посетите руководство "Начните работу с Windows ML", чтобы попробовать это самостоятельно!

Аппаратное ускорение на NPU, GPU и ЦП

Windows ML позволяет получить доступ к поставщикам выполнения, которые могут ускорить вывод по трем классам силиконовой системы, присутствующих на современных компьютерах с Windows:

• NPU — энергоэффективный, устойчивый вывод на устройстве с самыми мощными NPU, доступными на компьютерах Copilot+.
• GPU — рабочие нагрузки с высокой пропускной способностью, такие как изображения, видео и генерируемый ИИ, что обычно обеспечивает максимальную производительность на дискретных GPU
• ЦП — универсальная резервная загрузка, а также ускорение ЦП, оптимизированное для IHV

Полное сопоставление кремния с EP, требований к драйверам и вариантов выбора EP смотрите в разделе "Ускорение моделей ИИ".

Системные требования

• OS: версия Windows Windows App SDK поддерживает
• Архитектура: x64 или ARM64
• Оборудование: любая конфигурация ПК (ЦП, интегрированные и дискретные GPU, NPUs)

Оптимизация производительности

Последняя версия Windows ML работает непосредственно с выделенными поставщиками выполнения для GPU и NPU, обеспечивая оптимизированную производительность на уровне выделенных SDK из прошлого, таких как TensorRT для RTX, AI Engine Direct и расширение Intel для PyTorch. Мы разработали Windows ML, чтобы иметь лучшую в классе производительность GPU и NPU, не требуя от вашего приложения распространять пакеты SDK для IHV. Результаты производительности зависят от конфигурации оборудования и модели — см. Ускорение моделей ИИ для получения рекомендаций по конкретному оборудованию.

Преобразование моделей в ONNX

Модели можно преобразовать из других форматов в ONNX, чтобы использовать их с Windows ML. Дополнительные сведения см. в документации по набору средств Foundry для Visual Studio Code о том, как конвертировать модели в формате ONNX. Дополнительные сведения о преобразовании моделей PyTorch, TensorFlow и Hugging Face в ONNX см. в руководствах по среде выполнения ONNX .

Распределение моделей

Windows ML предоставляет гибкие возможности распространения моделей ИИ:

• Совместное использование моделей между приложениями — динамическое скачивание и совместное использование моделей между приложениями из любого CDN без объединение больших файлов
• Локальные модели . Включение файлов моделей непосредственно в пакет приложения

Интеграция с экосистемой ИИ Windows

Windows ML служит основой для более широкой платформы ИИ Windows:

• Windows API ИИ — встроенные модели для распространенных задач
• Foundry Local — готовые модели ИИ
• модели Custom — прямой доступ к API машинного обучения Windows для расширенных сценариев

Предоставление отзывов

Обнаружена проблема или есть предложения? Ищите или создавайте задачи на GitHub Windows App SDK.

Дальнейшие шаги

• Запуск моделей ИИ - установка Windows ML и запуск первой модели ONNX
• Ускорение моделей ИИ — добавление поставщиков NPU, GPU или ЦП для ускорения вывода
• Поиск и обучение моделей— поиск моделей , совместимых с Windows ML
• Руководство по API — WinRT и ONNX Runtime API в пакете Microsoft.WindowsAppSDK.ML