Средства DirectML

Следующие средства доступны для улучшения DirectML и включения его в приложение ИИ.

ONNX Runtime Go Live (Оливка)

Оливка — это средство оптимизации модели с поддержкой оборудования, которое создает ведущие в отрасли методы сжатия, оптимизации и компиляции моделей. Модель можно обработать с помощью Olive, используя DirectML в качестве целевой серверной платформы, после чего Olive подбирает наиболее подходящие методы оптимизации для получения самых эффективных моделей. Для получения дополнительной информации и примеров использования Olive, пожалуйста, смотрите документацию Olive.

Диспетчерская служба DxDispatch

DxDispatch — это простой исполняемый файл командной строки для запуска вычислительных программ DirectX 12 без написания всех стандартных шаблонов C++. Входные данные средства — это модель JSON, которая определяет ресурсы, диспетчеры (вычислительные шейдеры, операторы DirectML и модели ONNX) и команды для выполнения. Дополнительные сведения см. в руководстве dxDispatch на сайте Github.

DirectMLX

DirectMLX — это вспомогательная заголовочная библиотека C++ для DirectML, предназначенная для упрощения объединения отдельных операторов в графы. Для получения дополнительной информации, пожалуйста, посетите документацию по DirectMLX.

Тесты производительности среды выполнения ONNX

Тест onnxruntime perf — это средство, которое измеряет производительность выполнения моделей ONNX с различными поставщиками выполнения (EPS) в платформе onnxruntime. Он может сообщать метрики, такие как задержка, пропускная способность, использование памяти и загрузка ЦП/GPU для каждого вычислительного блока (EP) и модели. Тест onnxruntime perf также может сравнить результаты различных EPs и моделей и создать диаграммы и таблицы для анализа.

Чтобы использовать тест onnxruntime perf с directml ep, установите пакет onnxruntime-directml и укажите directml в качестве EP в аргументах командной строки. Например, следующая команда запускает тест perf для модели resnet50 с directml ep и параметрами по умолчанию:

onnxruntime_perf_test -m resnet50 -e directml

Тест perf выводит среднюю задержку, пиковый рабочий набор памяти и среднее использование ЦП/GPU для directml ep и модели resnet50. Можно также использовать другие параметры для настройки теста perf, например изменения количества итерации, размера пакета, параллелизма, запуска прогревания, входных данных модели и форматов выходных данных. Дополнительные сведения см. в документации по тесту onnxruntime perf.