Поделиться через

Разработка приложений ИИ для Copilot+ компьютеров

Copilot+ ПК — это новый класс оборудования Windows 11, на основе высокопроизводительного модуля нейронной обработки (NPU) — специализированного чипа компьютера для интенсивных процессов искусственного интеллекта, таких как переводы в режиме реального времени и создание изображений, которые могут выполнять более 40 трлн операций в секунду (TOPS). Copilot+ ПК обеспечивают работу батареи в течение всего дня и доступ к самым передовым функциям и моделям ИИ.

Подробнее:

Ниже приведены инструкции Copilotразработчика по ПК:

  • Предварительные требования устройства
  • Что такое микросхема Snapshell Elite X+ на основе Arm?
  • Уникальные функции искусственного интеллекта, поддерживаемые Copilot+ ПК с процессором NPU
  • Как получить доступ к NPU на компьютере Copilot+PC
  • Использование среды выполнения ONNX для программного доступа к NPU на компьютере Copilot+PC
  • Как измерять производительность моделей ИИ, работающих локально на NPU устройства

Необходимые компоненты

Это руководство предназначено для Copilotкомпьютеров и более поздних версий.

Многие из новых функций ИИ Windows требуют нейронного процессора (NPU) с производительностью более 40 TOPS, включая, но не ограничиваясь следующими:

Surface Copilot+ ПК для бизнеса:

Что такое микросхема Snapshell Elite X на основе Arm?

Новый чип Snapink X Elite Arm, построенный Qualcomm, подчеркивает интеграцию ИИ через свой ведущий в отрасли нейронный модуль обработки (NPU). Этот NPU может обрабатывать большие объемы данных параллельно, выполняя триллионы операций в секунду, используя энергию для задач ИИ более эффективно, чем ЦП или GPU, что приводит к более длительной работе батареи устройства. NPU работает в соответствии с ЦП и GPU. Windows 11 назначает задачи обработки наиболее подходящему месту для обеспечения быстрой и эффективной производительности. NPU обеспечивает интеллектуальные возможности искусственного интеллекта на устройстве с безопасностью корпоративного уровня для повышения защиты от микросхемы в облако.

Уникальные функции искусственного интеллекта, поддерживаемые Copilot+ пк с NPU

Copilot+ ПК предлагают уникальные возможности искусственного интеллекта, которые предоставляют современные версии Windows 11. Эти функции ИИ, предназначенные для запуска на устройстве NPU, передаются в последних выпусках Windows и будут доступны через API в Windows AI Foundry. Дополнительные сведения о Copilot среды выполнения Windows , поддерживаемых моделями, оптимизированными для выполнения (инференции) на NPU. Эти API будут отправлены в предстоящем выпуске пакета SDK для приложений Windows.

Как получить доступ к NPU на компьютере Copilot+PC

Единица нейронной обработки (NPU) — это новый аппаратный ресурс. Как и другие аппаратные ресурсы на компьютере, NPU должен быть специально запрограммирован, чтобы воспользоваться преимуществами, которые он предлагает. NPUs предназначены специально для выполнения математических операций глубокого обучения, составляющих модели искусственного интеллекта.

Перечисленные выше функции Windows 11 Copilot+ AI специально предназначены для использования использования NPU. Пользователи получат улучшенную продолжительность работы батареи и ускорить выполнение вывода для моделей ИИ, предназначенных для NPU. Поддержка Windows 11 для NPUs будет включать устройства На основе Arm, а также устройства Intel и AMD (в ближайшее время).

Для устройств с NPUs диспетчер задач теперь можно использовать для просмотра использования ресурсов NPU.

Снимок экрана: диспетчер задач Windows, отображающий производительность NPU вместе с ЦП, GPU, памятью, Ethernet и диском

Рекомендуемый способ вывода (выполнение задач ИИ) на устройстве NPU — использовать Windows ML.

Как программно получить доступ к NPU на компьютере Copilot+ PC для ускорения искусственного интеллекта

Рекомендуемый способ программного доступа к NPU (единица нейронной обработки) и GPU для ускорения искусственного интеллекта переключился с DirectML на Windows ML (WinML). Этот переход отражает более широкие усилия по упрощению и оптимизации возможностей разработчика для рабочих нагрузок ИИ на устройствах Windows. Вы можете найти обновленные рекомендации здесь: узнайте, как Машинное обучение Windows (ML) помогает приложениям Windows запускать модели ИИ локально.

  • Встроенное обнаружение EP: Ранее разработчикам требовалось знать, какие EP совместимы с их оборудованием и интегрировать эти EP в свои приложения. Это часто привело к увеличению размеров приложений и увеличению сложности в управлении зависимостями. В Windows ML процесс теперь автоматизирован и оптимизирован. Windows ML автоматически обнаруживает доступное оборудование на устройстве и загружает соответствующие ip-адреса по мере необходимости. Это означает, что разработчикам больше не нужно упаковать определенные EPS с приложениями, что приводит к уменьшению размера приложений и снижению сложности.

  • Встроенная доставка EP: необходимые EPs, такие как Qualcomm’s QNNExecutionProvider или Intel OpenVINO EP, теперь включены в поставку Windows или доставляются через службу обновления Windows, устраняя необходимость ручной загрузки.

  • ORT под капотом: Windows ML по-прежнему использует onNX Runtime в качестве своего механизма вывода, но абстрагирует сложность управления EP. OnNX Runtime — это средство вывода с открытым исходным кодом и модуль обучения для моделей ИИ с помощью формата ONNX и позволяет разработчикам создавать приложения ИИ, которые могут эффективно работать на различных устройствах.

  • Совместная работа с поставщиками оборудования: корпорация Майкрософт работает непосредственно с поставщиками оборудования, такими как Qualcomm и Intel, для обеспечения совместимости EP с ранними версиями драйверов и новыми силиконами (например, Snaptraits X Elite, Intel Core Ultra и т. д.).

При развертывании модели искусственного интеллекта с помощью Windows ML на компьютере Copilot+PC:

  • Windows ML запрашивает систему о доступных аппаратных акселераторах.
  • Он выбирает наиболее производительный EP (например, QNN для NPUs Qualcomm, OpenVINO для NPUs Intel).
  • EP загружается автоматически, и начинается инференция.
  • Если предпочтительный процессор выполнения (EP) выходит из строя или недоступен, Windows ML плавно переключается на другой, например, с использованием GPU или ЦП.

Это означает, что разработчики могут сосредоточиться на создании возможностей искусственного интеллекта, не беспокоясь о низкоуровневой интеграции оборудования

Поддерживаемые форматы моделей

Модели искусственного интеллекта часто обучены и доступны в более крупных форматах данных, таких как FP32. Однако многие устройства NPU поддерживают только целочисленную математику в нижнем битовом формате, например INT8, для повышения производительности и эффективности питания. Таким образом, модели искусственного интеллекта необходимо преобразовать (или "кванантизировать") для запуска в NPU. Существует множество моделей, которые уже были преобразованы в готовый к использованию формат. Вы также можете использовать собственную модель (BYOM) для преобразования или оптимизации.

  • Qualcomm AI Hub (Compute): Qualcomm предоставляет модели искусственного интеллекта, которые уже проверены для использования Copilotна компьютерах + С Оснастки X Elite с доступными моделями, специально оптимизированными для эффективного запуска на этом NPU. Дополнительные сведения: ускорение развертывания модели с помощью Центра ИИ Qualcomm | Microsoft Build 2024.
  • Зоопарк моделей ONNX: этот открытый код репозиторий предлагает курированную коллекцию предварительно обученных, готовых моделей в формате ONNX. Эти модели рекомендуется использовать с NPUs на всех компьютерах Copilotи компьютерах, включая устройства Intel и AMD (в ближайшее время).

Для тех, кто хочет принести собственную модель, рекомендуется использовать средство оптимизации модели с поддержкой оборудования, Олив. Оливка может помочь с сжатием модели, оптимизацией и компиляцией для работы с onNX Runtime в качестве решения для оптимизации производительности NPU. Дополнительные сведения: ИИ упрощается: как среда выполнения ONNX и цепочка инструментов оливки помогут вам в Q&A | Сборка 2023.

Как измерять производительность моделей ИИ, работающих локально на NPU устройства

Чтобы оценить производительность интеграции функций ИИ в приложении и связанных средах выполнения модели ИИ:

  • Запись трассировки: запись действия устройства за период времени называется системной трассировкой. Трассировка системы создает файл трассировки, который можно использовать для создания отчета и помогает определить, как повысить производительность приложения. Дополнительные сведения: запись системной трассировки для анализа использования памяти.

  • Просмотр использования NPU: проверьте, какие процессы используют NPU и вызовы, отправляющие работу.

  • Просмотр рабочих и вызовов на ЦП: изучите результаты предварительной подготовки моделей ИИ и моделей ИИ после работы.

  • Загрузка и среда выполнения. Проверьте время загрузки модели ИИ и создайте сеанс среды выполнения ONNX.

  • Параметры среды выполнения. Проверьте конфигурацию среды выполнения ONNX и параметры поставщика выполнения (EP), влияющие на производительность и оптимизацию среды выполнения модели.

  • Время вывода по отдельности: отслеживание времени вывода и вложенных сведений из NPU.

  • Профилировщик: операции модели ИИ профиля, чтобы узнать, сколько времени занимает каждый оператор, чтобы внести свой вклад в общее время вывода.

  • NPU: изучите вложенные сведения NPU, такие как метрики под HW, пропускная способность памяти и многое другое.

Снимок экрана: общее впечатление о средстве Windows Анализатор производительности

Для выполнения этих измерений рекомендуется использовать следующие средства диагностики и трассировки:

  • Диспетчер задач. Позволяет пользователю просматривать производительность операционной системы Windows, установленной на своем устройстве, включая процессы, производительность, журнал приложений, запуск приложений, пользователей, сведений и служб. Данные о производительности в режиме реального времени будут отображаться для ЦП устройства, памяти, диска хранилища, Wi-Fi, GPU... и теперь NPU. Данные включают процент использования, доступную память, общую память, версию драйвера, физическое расположение и многое другое.
  • Средство записи производительности Windows (WPR): WPR теперь поставляется с профилем нейронной обработки для записи действия NPU. Эта запись записывает взаимодействие модели драйвера вычислений Майкрософт (MCDM) с NPU. Теперь разработчики могут видеть использование NPU, которые используют NPU, а также вызовы, отправляющие работу.
  • Windows Анализатор производительности (WPA): WPA создает графы и таблицы данных событий трассировки событий для Windows (ETW), записанные средством записи производительности Windows (WPR), Xperf или оценкой, выполняемой на платформе оценки. Он предоставляет удобные точки доступа для анализа событий среды выполнения ЦП, диска, сети, ONNX... и новая таблица для анализа NPU в одной временной шкале. WPA теперь может просматривать рабочие и вызовы на ЦП, связанных с предрабатными моделями ИИ и результатами модели ИИ после обработки. Скачайте Анализатор производительности Windows из Microsoft Store.
  • GPUView: GPUView — это средство разработки, которое считывает записанные видео и события ядра из файла журнала трассировки событий (etl) и отображает данные графически для пользователя. Теперь это средство включает как операции GPU, так и NPU, а также поддержку просмотра событий DirectX для устройств MCDM , таких как NPU.
  • События среды выполнения ONNX в Windows Анализатор производительности. Начиная с ONNXRuntime 1.17 (и улучшено в версии 1.18.1), доступны следующие варианты использования с событиями, созданными в среде выполнения:
    • Узнайте, сколько времени потребовалось для загрузки модели ИИ и создания сеанса среды выполнения ONNX.
    • См. параметры конфигурации и поставщика выполнения ONNX, влияющие на производительность и оптимизацию среды выполнения модели.
    • Отслеживание времени вывода и вложенных сведений из NPU (QNN).
    • Операции модели ИИ профилирования, чтобы узнать, сколько времени потребовалось каждому оператору, чтобы внести свой вклад в общее время вывода.
    • Дополнительные сведения о профилировании поставщика выполнения ONNX (EP).

Примечание.

Пользовательский интерфейс WPR (пользовательский интерфейс, доступный для поддержки WPR на основе командной строки, включенной в Windows), WPA и GPUView являются частью Набора средств производительности Windows (WPT), версии май 2024+. Чтобы использовать WPT, необходимо скачать набор средств Windows ADK.

Краткое руководство по просмотру событий среды выполнения ONNX с помощью Windows Анализатор производительности (WPA) выполните следующие действия.

  1. Скачайте ort.wprp и etw_provider.wprp.

  2. Откройте командную строку и введите:

    wpr -start ort.wprp -start etw_provider.wprp -start NeuralProcessing -start CPU
echo Repro the issue allowing ONNX to run 
wpr -stop onnx_NPU.etl -compress

  3. Объединение профилей записей производительности Windows (WPR) с другими встроенными профилями записи, такими как ЦП, диск и т. д.

  4. Скачайте Windows Анализатор производительности (WPA) из Microsoft Store.

  5. onnx_NPU.etl Откройте файл в WPA. Дважды щелкните, чтобы открыть эти графы:

    • "Нейронная обработка —> использование NPU
    • Универсальные события ONNX

Дополнительные средства измерения производительности, которые рекомендуется использовать с приведенными выше средствами Microsoft Windows, включают:

  • Qualcomm Snapdl Profiler (qprof): графический интерфейс и средство профилирования производительности на уровне системы, предназначенное для визуализации производительности системы, а также определение возможностей оптимизации и масштабирования приложений в ЦП Qualcomm SoC, GPU, DSPs и других IP-блоках. Snapdl Profiler позволяет просматривать вложенные сведения NPU, такие как метрики под HW, пропускная способность памяти и многое другое.

Дополнительные ресурсы

  • Last updated on