Начало работы с DirectML

Связывание DirectML с средой выполнения ONNX часто является самым простым способом для многих разработчиков, чтобы обеспечить масштабируемое использование искусственного интеллекта с аппаратным ускорением. Эти три шага являются общим руководством по использованию этого мощного combo.

1. Конвертировать

Формат ONNX позволяет использовать среду выполнения ONNX с DirectML, которая обеспечивает кросс-аппаратные возможности.

Чтобы преобразовать модель в формат ONNX, можно использовать ONNXMLTools или Olive.

2. Оптимизация

После создания модели .onnx используйте Olive с помощью DirectML для оптимизации модели. Вы заметите значительные улучшения производительности, которые можно внедрить в экосистеме оборудования Windows.

3. Интеграция

Когда ваша модель готова, пришло время внедрить ускоренный аппаратный вывод в ваше приложение с помощью ONNX Runtime и DirectML. Для моделей создания ИИ рекомендуется использовать API создания среды выполнения ONNX()

Мы создали некоторые примеры, чтобы показать, как можно использовать DirectML и среду выполнения ONNX:

• Фи-3-мини
• Крупные языковые модели (LLM)
• Стабильная диффузия
• Передача стиля
• Инференция на NPUs

DirectML и PyTorch

Бэкенд DirectML для Pytorch обеспечивает высокопроизводительный и низкоуровневый доступ к аппаратному обеспечению GPU, предлагая разработчикам знакомый API Pytorch. Дополнительные сведения об использовании PyTorch с DirectML см. здесь

DirectML для веб-приложений (предварительная версия)

API веб-нейронной сети (WebNN) — это новый веб-стандарт, позволяющий веб-приложениям и платформам ускорить глубокие нейронные сети с аппаратным оборудованием на устройстве, такими как GPU, ЦП или специально созданные акселераторы искусственного интеллекта, такие как NPUs. API WebNN использует API DirectML в Windows для доступа к собственным возможностям оборудования и оптимизации выполнения моделей нейронной сети. Дополнительные сведения о WebNN см. здесь