Разработка приложений ИИ для Copilot+ компьютеров

Copilot+ ПК — это новый класс оборудования Windows 11, на основе высокопроизводительного модуля нейронной обработки (NPU) — специализированного чипа компьютера для интенсивных процессов искусственного интеллекта, таких как переводы в режиме реального времени и создание изображений, которые могут выполнять более 40 трлн операций в секунду (TOPS). Copilot+ ПК обеспечивают работу батареи в течение всего дня и доступ к самым передовым функциям и моделям ИИ.

Подробнее:

Ниже приведено руководство Copilotдля разработчиков ПК, которое охватывает:

  • Предварительные требования устройства
  • Что такое чип Snapdragon Elite X+ на базе Arm?
  • Уникальные функции ИИ, поддерживаемые на ПК Copilot+ с процессором NPU
  • Как получить доступ к NPU на ПК Copilot+
  • Использование среды выполнения ONNX для программного доступа к NPU на компьютере Copilot+PC
  • Как измерять производительность моделей ИИ, работающих локально на NPU устройства

Предварительные требования

Это руководство предназначено для CopilotПК +.

Многие из новых функций ИИ Windows требуют нейронного процессора (NPU) с производительностью более 40 TOPS, включая, но не ограничиваясь следующими:

Surface Copilot+ ПК для бизнеса:

Что такое чип Snapdragon X Elite на архитектуре Arm?

Новый чип Snapink X Elite Arm, построенный Qualcomm, подчеркивает интеграцию ИИ через свой модуль нейронной обработки (NPU). Этот NPU может обрабатывать большие объемы данных параллельно, выполняя триллионы операций в секунду, используя энергию для задач ИИ более эффективно, чем ЦП или GPU, что приводит к более длительной работе батареи устройства. NPU работает в соответствии с ЦП и GPU. Windows 11 назначает задачи обработки наиболее подходящему месту для обеспечения быстрой и эффективной производительности. NPU обеспечивает возможности искусственного интеллекта на устройстве, включая функции Windows Copilot+ ПК.

  • Узнайте больше о Qualcomm Snapdl X Elite.
  • Узнайте больше об использовании и разработке приложений для Windows on Arm.

Уникальные функции ИИ, доступные на ПК Copilot+ с NPU

Copilot+ ПК предлагают уникальные возможности искусственного интеллекта, которые предоставляют современные версии Windows 11. Эти функции искусственного интеллекта, предназначенные для работы на нейропроцессоре (NPU) устройства, входят в состав последних версий Windows и доступны через API в Microsoft Foundry on Windows. Узнайте больше о Microsoft Foundry в API Windows, поддерживаемых моделями, оптимизированными для работы на NPU. Эти API-интерфейсы поставляются в Windows App SDK.

Как получить доступ к NPU на ПК Copilot+

Единица нейронной обработки (NPU) — это новый аппаратный ресурс. Как и другие аппаратные ресурсы на компьютере, NPU должен быть специально запрограммирован, чтобы воспользоваться преимуществами, которые он предлагает. NPUs предназначены специально для выполнения математических операций глубокого обучения, составляющих модели искусственного интеллекта.

Перечисленные выше функции ИИ в Windows 11 Copilot+ специально разработаны для использования возможностей NPU. Пользователи получат увеличенное время автономной работы и сокращение времени выполнения инференса для моделей ИИ, ориентированных на NPU. Поддержка NPU в Windows 11 будет включать устройства на базе Arm от Qualcomm, а также устройства Intel и AMD.

Для устройств с нейронными процессорами (NPU) теперь можно использовать Диспетчер задач для просмотра использования ресурсов NPU.

Снимок экрана: диспетчер задач Windows, отображающий производительность NPU вместе с ЦП, GPU, памятью, Ethernet и диском

Рекомендуемый способ вывода (выполнение задач ИИ) на устройстве NPU — использовать Windows ML.

Как программно получить доступ к NPU на компьютере Copilot+ PC для ускорения искусственного интеллекта

Рекомендуемый способ программного доступа к NPU (единица нейронной обработки) и GPU для ускорения искусственного интеллекта переключился с DirectML на Windows ML (WinML). Этот переход отражает более широкие усилия по упрощению и оптимизации возможностей разработчика для рабочих нагрузок ИИ на устройствах Windows. Вы можете найти обновленные рекомендации здесь: узнайте, как Машинное обучение Windows (ML) помогает приложениям Windows запускать модели ИИ локально.

  • Встроенное обнаружение EP: Ранее разработчикам требовалось знать, какие EP совместимы с их оборудованием и интегрировать эти EP в свои приложения. Это часто привело к увеличению размеров приложений и увеличению сложности в управлении зависимостями. В Windows ML процесс теперь автоматизирован и оптимизирован. Windows ML автоматически обнаруживает доступное оборудование на устройстве и загружает соответствующие ip-адреса по мере необходимости. Это означает, что разработчикам больше не нужно упаковать определенные EPS с приложениями, что приводит к уменьшению размера приложений и снижению сложности.

  • Встроенная доставка EP: необходимые EP, такие как QNNExecutionProvider или Intel OpenVINO EP, теперь входят в комплект Windows или доставляются через Центр обновления Windows, устраняя необходимость загрузки вручную.

  • ORT под капотом: Windows ML по-прежнему использует onNX Runtime в качестве своего механизма вывода, но абстрагирует сложность управления EP. OnNX Runtime — это средство вывода с открытым исходным кодом и модуль обучения для моделей ИИ с помощью формата ONNX и позволяет разработчикам создавать приложения ИИ, которые могут эффективно работать на различных устройствах.

  • Совместная работа с поставщиками оборудования: корпорация Майкрософт работает непосредственно с поставщиками оборудования, такими как Qualcomm и Intel, для обеспечения совместимости EP с ранними версиями драйверов и новыми силиконами (например, Snaptraits X Elite, Intel Core Ultra и т. д.).

При развертывании модели искусственного интеллекта с помощью Windows ML на компьютере Copilot+PC:

  • Windows ML запрашивает систему о доступных аппаратных акселераторах.
  • Он выбирает наиболее производительный EP (например, QNN для NPUs Qualcomm, OpenVINO для NPUs Intel).
  • EP загружается автоматически, и начинается инференция.
  • Если предпочтительный процессор выполнения (EP) выходит из строя или недоступен, Windows ML плавно переключается на другой, например, с использованием GPU или ЦП.

Это означает, что разработчики могут сосредоточиться на создании возможностей искусственного интеллекта, не беспокоясь о низкоуровневой интеграции оборудования

Поддерживаемые форматы моделей

Модели искусственного интеллекта часто обучены и доступны в более крупных форматах данных, таких как FP32. Однако многие устройства NPU поддерживают только целочисленную математику в нижнем битовом формате, например INT8, для повышения производительности и эффективности питания. Таким образом, модели искусственного интеллекта необходимо преобразовать (или "кванантизировать") для запуска в NPU. Существует множество моделей, которые уже были преобразованы в готовый к использованию формат. Вы также можете использовать собственную модель (BYOM) для преобразования или оптимизации.

  • Qualcomm AI Hub (Compute): Qualcomm предоставляет модели искусственного интеллекта, которые уже прошли проверку для использования на ПК Copilot+ с Snapdragon X Elite; доступные модели специально оптимизированы для эффективной работы на этом NPU. Дополнительные сведения: ускорение развертывания модели с помощью Центра ИИ Qualcomm | Microsoft Build 2024.
  • Зоопарк моделей ONNX: этот репозиторий с открытым исходным кодом предлагает подобранную коллекцию предварительно обученных передовых моделей в формате ONNX. Эти модели рекомендуются для использования с NPU на всех ПК Copilot+, включая устройства Intel и AMD.

Тем, кто хочет использовать собственную модель, мы рекомендуем инструмент оптимизации моделей с учетом аппаратных особенностей Olive. Olive может помочь со сжатием, оптимизацией и компиляцией моделей для использования с ONNX Runtime в качестве решения для оптимизации производительности NPU. Узнайте больше: Упрощение ИИ: как ONNX Runtime и набор инструментов Olive помогут вам | Вопросы и ответы | Build 2023.

Как измерять производительность моделей ИИ, работающих локально на NPU устройства

Чтобы оценить производительность интеграции функций ИИ в приложении и связанных средах выполнения модели ИИ:

  • Записать трассировку: запись активности устройства в течение некоторого периода времени называется системной трассировкой. Трассировка системы создает файл трассировки, который можно использовать, чтобы сформировать отчет и определить, как повысить производительность вашего приложения. Дополнительные сведения: запись системной трассировки для анализа использования памяти.

  • Просмотр использования NPU: проверьте, какие процессы используют NPU и вызовы, отправляющие работу.

  • Просмотр задач и стеков вызовов на ЦП: Изучите результаты предварительной загрузки данных в модели ИИ и последующей обработки моделями ИИ.

  • Загрузка и среда выполнения. Проверьте время загрузки модели ИИ и создайте сеанс среды выполнения ONNX.

  • Параметры среды выполнения. Проверьте конфигурацию среды выполнения ONNX и параметры поставщика выполнения (EP), влияющие на производительность и оптимизацию среды выполнения модели.

  • Время отдельных инференсов: отслеживайте время каждого инференса и дополнительные сведения от NPU.

  • Профилировщик: Профилируйте операции модели ИИ, чтобы узнать, сколько времени занимает каждый оператор и каков его вклад в общее время инференса.

  • Специально для NPU: изучите подробные сведения о NPU, такие как метрики аппаратных подкомпонентов, пропускная способность памяти и многое другое.

Снимок экрана, дающий общее представление о средстве анализа производительности Windows

Для выполнения этих измерений рекомендуется использовать следующие средства диагностики и трассировки:

  • Диспетчер задач. Позволяет пользователю просматривать производительность операционной системы Windows, установленной на своем устройстве, включая процессы, производительность, журнал приложений, запуск приложений, пользователей, сведений и служб. Данные о производительности в режиме реального времени будут отображаться для ЦП устройства, памяти, диска хранилища, Wi-Fi, GPU... и теперь NPU. Данные включают процент использования, доступную память, общую память, версию драйвера, физическое расположение и многое другое.
  • Средство записи производительности Windows (WPR): WPR теперь включает профиль для нейронного процессора, позволяющий записывать активность NPU. Эта запись записывает взаимодействие модели драйвера вычислений Майкрософт (MCDM) с NPU. Теперь разработчики могут видеть загрузку NPU, какие процессы используют NPU, а также стеки вызовов, отправляющие задачи на выполнение.
  • Анализатор производительности Windows (WPA): создает графики и таблицы данных событий Event Tracing for Windows (ETW), записанных с помощью Windows Performance Recorder (WPR), Xperf или оценки, запущенной на платформе Assessment Platform. Он обеспечивает удобный доступ к анализу ЦП, диска, сети, событий ONNX Runtime, а также к новой таблице для анализа NPU — всё в рамках одной временной шкалы. WPA теперь может просматривать работу и стеки вызовов на ЦП, связанные с предварительной обработкой данных для моделей ИИ и последующей обработкой результатов моделей ИИ. Скачайте Анализатор производительности Windows из Microsoft Store.
  • GPUView: GPUView — это средство разработки, которое считывает записанные видео и события ядра из файла журнала трассировки событий (etl) и отображает данные графически для пользователя. Теперь это средство включает как операции GPU, так и NPU, а также поддержку просмотра событий DirectX для устройств MCDM , таких как NPU.
  • События ONNX Runtime в анализаторе производительности Windows: Начиная с ONNX Runtime 1.17 (с дополнительными улучшениями в версии 1.18.1), доступны следующие сценарии использования событий, создаваемых средой выполнения:
    • Узнайте, сколько времени потребовалось для загрузки модели ИИ и создания сеанса среды выполнения ONNX.
    • См. параметры конфигурации и поставщика выполнения ONNX, влияющие на производительность и оптимизацию среды выполнения модели.
    • Отслеживайте время для каждого вывода и дополнительные сведения от NPU (QNN).
    • Профилируйте операции модели ИИ, чтобы увидеть, сколько времени занял каждый оператор и какой вклад он внес в общее время инференса.
    • Дополнительные сведения о профилировании поставщика выполнения ONNX Runtime (EP).

Примечание.

Пользовательский интерфейс WPR (пользовательский интерфейс, доступный для поддержки WPR на основе командной строки, включенной в Windows), WPA и GPUView являются частью Набора средств производительности Windows (WPT), версии май 2024+. Чтобы использовать WPT, вам потребуется: скачать компоненты Windows ADK.

Чтобы быстро начать просмотр событий ONNX Runtime с помощью Анализатора производительности Windows (WPA), выполните следующие действия:

  1. Скачайте ort.wprp и etw_provider.wprp.

  2. Откройте командную строку и введите:

    wpr -start ort.wprp -start etw_provider.wprp -start NeuralProcessing -start CPU
echo Repro the issue allowing ONNX to run 
wpr -stop onnx_NPU.etl -compress

  3. Объедините профили Windows Performance Recorder (WPR) с другими встроенными профилями записи, такими как процессор, диск и т. д.

  4. Скачайте Анализатор производительности Windows (WPA) в Microsoft Store.

  5. Откройте файл onnx_NPU.etl в WPA. Дважды щелкните, чтобы открыть эти графы:

    • "Нейронная обработка —> использование NPU
    • Универсальные события для ONNX

Дополнительные средства измерения производительности, которые рекомендуется использовать с приведенными выше средствами Microsoft Windows, включают:

  • Qualcomm Snapdl Profiler (qprof): графический интерфейс и средство профилирования производительности на уровне системы, предназначенное для визуализации производительности системы, а также определение возможностей оптимизации и масштабирования приложений в ЦП Qualcomm SoC, GPU, DSPs и других IP-блоках. Snapdragon Profiler позволяет просматривать подробные сведения о NPU, такие как метрики аппаратных подкомпонентов, пропускная способность памяти и многое другое.

Дополнительные ресурсы

  • Last updated on