Последние заметки о выпуске экспериментального канала для пакета SDK для приложений Windows

Экспериментальный канал включает выпуски пакета SDK для приложений Windows с функциями экспериментального канала на ранних этапах разработки. API для экспериментальных функций имеют экспериментальный атрибут. При вызове экспериментального API в коде вы получите предупреждение во время сборки. Все API в экспериментальном канале подвергаются обширным переработкам и разрушительным изменениям. Экспериментальные функции и API могут быть удалены из последующих выпусков в любое время.

Важные ссылки:

• Если вы хотите обновить существующее приложение с более старой версии пакета SDK для приложений Windows до более новой версии, ознакомьтесь с обновлением существующих проектов до последнего выпуска пакета SDK для приложений Windows.
• Документация по экспериментальным выпускам: см. "Установка средств для предварительных и экспериментальных каналов пакета Windows App SDK".

Экспериментальная версия 2.0 (2.0.0-Experimental3)

Использование ИИ на устройстве с API Windows AI

Пакет SDK для приложений Windows включает расширенные возможности ИИ Windows, что позволяет разработчикам легко интегрировать интеллектуальные функции в свои приложения. Эти улучшения включают локальные функции ИИ, такие как реагирование на входящие запросы, распознавание текста в изображениях, описание содержимого изображения, извлечение объектов из изображений и многое другое.

Сведения о ответственных методиках разработки, используемых во время создания API-интерфейсов ИИ Windows, которые также можно применять при создании вспомогательных функций ИИ, см. в руководстве по разработке приложений и функций ответственного создания ИИ в Windows .

Этот выпуск включает следующие новые и измененные экспериментальные API:

Исправления ошибок:

• Исправлено вычисление ограничивающего поля при повороте текста. В некоторых случаях текст OCR, соответствующий изображениям, сообщал о неточных или пустых границах области при повороте текста.

Обновления Windows ML

Переименованные типы

• Переименование WinMLCatalogModel в ModelCatalog
• Переименование CatalogModelSource в ModelCatalogSource

Обновления методов

• CatalogModelInfo: переименовано GetInstance в GetInstanceAsync
• ModelCatalogSource: переименовано CreateFromUri в CreateFromUriAsync
• ModelCatalog: переименовано FindModel в FindModelAsync
• ModelCatalog: переименовано FindAllModels в FindAllModelsAsync

Изменения свойств

• Обновлено CatalogModelInfo.Size до CatalogModelInfo.ModelSizeInBytes

Обновления поведения

• Извлеките экземпляр из CatalogModelInstanceResult, используя .GetInstance().
• CatalogModelStatus теперь возвращает значение Ready или NotReady на основе локальной доступности
• Добавлено CatalogModelInstanceStatus для разделения состояния экземпляра от состояния модели

Обновления CatalogModelInfo

• Переименование Alias в Name
• Переименование Revision в Version
• Добавлено Publisher.
• DisplayName удалено

Изменения JSON

• Переименовано alias в id.
• Удалены modelType и description.
• Переименовано executionProvider в executionProviders.
• Обновили executionProviders, чтобы он был массивом объектов JSON вместо списка, разделяемого запятыми.

Дополнительные изменения

• ModelCatalog теперь возвращает список поставщиков выполнения (EPS) при создании экземпляра.
• Добавлена поддержка Windows 10 (1809) и более поздних версий.
• Добавлена поддержка локальных файлов, включая как обычные файлы, так и пакеты MSIX.
• Исправлены сбои, вызванные недопустимым JSON каталога.

Обновления AppContentIndexer

• Предыдущий AppIndexQuery тип, включающий GetNextTextMatches и GetNextImageMatches методы, был разделен на два разных типа: AppIndexTextQuery и AppIndexImageQuery. Метод AppContentIndexer.CreateQuery был заменен следующим CreateTextQuery : и CreateImageQuery.

• Теперь эти методы возвращаются AppIndexTextQuery и AppIndexImageQuery соответственно. Чтобы упростить использование, типы параметров также были обновлены:

  • Удалено: AppIndexQueryOptionsTextMatchOptions иImageMatchOptions
  • Добавлено: TextQueryOptionsImageQueryOptions

• API в пространстве имен AppContentIndex, которые ранее возвращали массивы, теперь возвращают IVectorView для повышения согласованности и производительности.

• Метод AppContentIndexer.WaitForIndexingIdleAsync был обновлен, чтобы принять TimeSpan параметр вместо целого числа, обеспечивая более четкую и более гибкую обработку времени ожидания.

API для видео с сверхвысоким разрешением

API VideoScaler обеспечивает усовершенствование видео в режиме реального времени с помощью расширенного масштабирования ИИ, оптимизированного для потоков с участием людей в беседе. Это позволяет разработчикам предоставлять более четкие визуальные элементы для конференц-связи, потоковой передачи и редактирования платформ, даже в условиях плохой сети. API поддерживает настройку разрешения выходных данных, частоты кадров и интересующих регионов с совместимостью для нескольких форматов видео, включая BGR, RGB и NV12.

Тон перезаписи текста в Windows AI

Новый API RewriteCustomAsync позволяет предоставить входную строку, которая направляет Phi Silica в перезаписи выделенного текста. Вы можете экспериментировать с новыми творческими стилями, такими как Goofy или "Пират", чтобы мгновенно преобразовать содержимое.

Новый пункт меню разделения для сжатых функциональных возможностей

Новый, экспериментальный элемент управления SplitMenuFlyoutItem предназначен для предоставления опыта работы с разделенной кнопкой в всплывающем меню. Этот элемент управления позволит разработчикам предоставлять основное действие по умолчанию, а также предлагать дополнительные параметры через подменю, идеально подходит для сокращения сложной функциональности в меньшем объеме и экономии общей длины меню.

Наряду с возможностями MenuFlyoutItem и MenuFlyoutSubItem, элемент управления поставляется с двумя другими свойствами: SubMenuPresenterStyle и SubMenuItemStyle, что позволяет настраивать подменю, например, используя GridView для представления подменю.

    <Button Text="Open File Button">
        <Button.Flyout>
            <MenuFlyout>
                <SplitMenuFlyoutItem Text="Open with Notepad">
                    <MenuFlyoutItem Text="Visual Studio" />
                    <MenuFlyoutItem Text="VS Code" />
                    <MenuFlyoutItem Text="Wordpad" />
                </SplitMenuFlyoutItem>
            </MenuFlyout>
        </Button.Flyout>
    </Button>

Создание образа ИИ

Класс ImageGenerator использует стабильные модели диффузии для обеспечения мощных возможностей создания изображений. Система поддерживает несколько сценариев генерации:

• Текст к изображению: Создайте изображения из описательных текстовых запросов.

• Изображение к изображению: Преобразование существующих изображений на основе текстовых описаний.

• Волшебная заливка: Заполните маскированные области изображений с содержимым, созданным ИИ.

• Стиль цветной книги: Создайте цветовые изображения в стиле книги.

• Рестайлинг: Изменение художественного стиля существующих изображений при сохранении структуры.

Все созданные изображения возвращаются в формате RGB8 через объекты ImageBuffer . API включает встроенные фильтры безопасности содержимого и поддерживает настраиваемые параметры создания.

Базовое создание текста в изображение

using Microsoft.Windows.AI.Imaging;
using Microsoft.Graphics.Imaging;
 
public async Task GenerateImageFromText()
{
    var readyState = ImageGenerator.GetReadyState();
    if (readyState != AIFeatureReadyState.Ready)
    {
        var progress = new Progress<double>(p => Console.WriteLine($"Download progress: {p:P}"));
        var result = await ImageGenerator.EnsureReadyAsync();
        if (result.Status != AIFeatureReadyResultState.Success)
        {
            Console.WriteLine("Failed to prepare models");
            return;
        }
    }
 
    using var generator = await ImageGenerator.CreateAsync();
 
    var options = new ImageGenerationOptions
    {
        MaxInferenceSteps = 6,
        Creativity = 0.8,
        Seed = 42
    };
 
    var result = generator.GenerateImageFromTextPrompt("A beautiful sunset over a mountain lake", options);
 
    if (result.Status == ImageGeneratorResultStatus.Success)
    {
        await SaveImageBufferAsync(result.Image, "generated_image.png");
    }
}

Новые API для 2.0-experimental3

Этот выпуск включает следующие новые и измененные экспериментальные API по сравнению с 2.0-experimental2:

Microsoft.Graphics.Imaging

    ImageBufferPixelFormat
        Bgr8

Microsoft.UI.Xaml.Automation.Peers

    SplitMenuFlyoutItemAutomationPeer

Microsoft.UI.Xaml.Controls

    SplitMenuFlyoutItem

Microsoft.Windows.AI.Imaging

    ImageFromImageGenerationOptions
    ImageFromImageGenerationStyle
    ImageFromTextGenerationOptions
    ImageFromTextGenerationStyle
    ImageGenerationOptions
    ImageGenerator
    ImageGeneratorContract
    ImageGeneratorResult
    ImageGeneratorResultStatus
    TextRecognizer
        RecognizeTextFromImage
        RecognizeTextFromImageAsync

    TextRecognizerOptions

Microsoft.Windows.AI.MachineLearning

    CatalogModelInfo
    CatalogModelInstance
    CatalogModelInstanceResult
    CatalogModelInstanceStatus
    CatalogModelStatus
    ModelCatalog
    ModelCatalogSource

Microsoft.Windows.AI.Search.Experimental.AppContentIndex

    AppContentIndexer
        CreateImageQuery
        CreateTextQuery
        WaitForIndexingIdleAsync

    AppIndexImageQuery
    AppIndexTextQuery
    ImageQueryOptions
    TextQueryOptions

Microsoft.Windows.AI.Text

    TextRewriter
        RewriteCustomAsync

Microsoft.Windows.AI.Video

    ScaleFrameStatus
    VideoScaler
    VideoScalerOptions
    VideoScalerResult

Экспериментальная версия 2.0 (2.0.0-Experimental2)

Поиск содержимого приложения

API AppContentIndexer позволяют разработчикам эффективно индексировать содержимое приложения, включая текст и изображения для быстрого и соответствующего извлечения. Поддержка лексических (на основе ключевых слов) и семантических поисков (на основе значений) эти API позволяют приложениям предоставлять быстрые, соответствующие результаты на основе намерения пользователя и контекста, а не просто точных ключевых слов.

Эта возможность разблокирует следующие расширенные сценарии:

• Семантический поиск
  Приложения могут возвращать результаты на основе намерений и значений, а не точных совпадений ключевых слов.
  Пример: Запрос на "временную шкалу проекта" может отображать содержимое, которое упоминает "расписание" или "даты доставки", даже если эти точные слова не использовались.
• Генерация с дополнением извлечением (RAG)
  Индексированный контент может служить базой знаний для формируемых моделей ИИ. Когда пользователь задает вопрос, приложение извлекает наиболее важные документы или фрагменты из индекса и передает их в модель, обеспечивая точные ответы с учетом контекста, размещенные в реальных данных.

Каталог моделей Windows ML

API каталога моделей Windows ML позволяют приложению или библиотеке динамически обнаруживать и скачивать большие файлы моделей ИИ из собственных каталогов моделей в Интернете, устраняя необходимость упаковать эти большие файлы непосредственно с приложением или библиотекой. Каталог моделей помогает обеспечить совместимость устройств путем фильтрации моделей и скачивания только тех, которые применимы для конкретного устройства Windows.

Постоянные расположения файлов и папок

Последнее Microsoft.Windows.Storage.Pickers обновление упрощает выбор файлов и папок, позволяя разработчикам задавать начальные и постоянные расположения папок, а также группировать фильтры типов файлов с четкими метками для упрощения навигации.

Относительное положение всплывающего окна

PopupAnchor ТЕПЕРЬ API позволяет DesktopPopupSiteBridge поддерживать относительное позиционирование, привязывая к своему окну или острову, решая проблему, когда всплывающие окна ранее могли располагаться только с использованием координат экрана.

Маршрутизация входных данных для SystemVisual ContentIslands

InputUnderlyingWindowController API позволяет разработчикам указать целевой HWND для получения входных сообщений, которые изначально были отправлены в ContentIsland, созданный из SystemVisual (см. ContentIsland.CreateForSystemVisual).

Гибкое размещение фона системы

SystemBackdropHost позволяет размещать системный фон (акрил/мика) в любом месте визуального дерева приложения.

Последовательное размещение макета XAML

Это WrapPanel панель макета WinUI XAML, которая упорядочивает дочерние элементы в последовательной позиции слева направо, элементы, переполненные линией, будут автоматически разбиты на следующую строку в конце содержащей панели. Это полезно для адаптивных макетов.

Это порт существующего элемента управления из Windows Community Toolkit.

Новые API для 2.0-experimental2

Этот выпуск включает следующие новые и измененные экспериментальные API по сравнению с 2.0-experimental1:

Microsoft.UI.Content

    PopupAnchor

Microsoft.UI.Input

    InputUnderlyingWindowController

Microsoft.UI.Xaml.Controls

    StretchChild
    SystemBackdropHost
    WrapPanel

Microsoft.Windows.AI.Imaging

    ImageForegroundExtractor
    ImageForegroundExtractorContract

Microsoft.Windows.AI.Search.Experimental.AppContentIndex

    AppContentIndexContract
    AppContentIndexer
    AppContentIndexListener
    AppIndexContentRegion
    AppIndexQuery
    AppIndexQueryMatch
    AppIndexQueryOptions
    AppIndexTextStreamEncoding
    AppManagedImageQueryMatch
    AppManagedIndexableAppContent
    AppManagedTextQueryMatch
    ContentItemReader
    ContentItemStatus
    ContentItemStatusResult
    ContentRegionTextOptions
    DeleteIndexResult
    DeleteIndexStatus
    DeleteIndexWhileInUseBehavior
    GetOrCreateIndexOptions
    GetOrCreateIndexResult
    GetOrCreateIndexStatus
    ImageMatchOptions
    ImageQueryMatch
    IndexableAppContent
    IndexCapabilities
    IndexCapabilitiesOfCurrentSystem
    IndexCapability
    IndexCapabilityInitializationStatus
    IndexCapabilityLanguageStatus
    IndexCapabilityOfCurrentSystemStatus
    IndexCapabilityRequirement
    IndexCapabilityState
    IndexStatistics
    QueryMatchContentKind
    QueryMatchScope
    RegionContentKind
    TextLexicalMatchType
    TextMatchOptions
    TextQueryMatch

Microsoft.Windows.AI.Text.Experimental

    LanguageModelExperimental
    LanguageModelExperimentalContract
    LanguageModelOptionsExperimental
    LowRankAdaptation

Microsoft.Windows.Storage.Pickers

    FileOpenPicker
        FileTypeChoices
        SuggestedFolder
        SuggestedStartFolder

    FileSavePicker
        SuggestedStartFolder

    FolderPicker
        SuggestedFolder
        SuggestedStartFolder

Известные проблемы

• AppContentIndexer API-интерфейсы должны вызываться из фонового потока. Использование его в потоке пользовательского интерфейса может зависать или вызывать длительные паузы, влияющие на взаимодействие с пользователем.
• Результаты запроса с использованием AppIndexQuery.GetNextTextMatches и AppIndexQuery.GetNextImageMatches будут NULL вместо пустого списка, если нет совпадений.
• Совпадения изображений, найденные с помощью AppManagedImageQueryMatch.Subregion, основанных на значениях OCR, иногда могут быть неточными, особенно если текст повернут или искажен.
• Совпадения изображений с использованием AppManagedImageQueryMatch.Subregion иногда могут включать нулевой размер или крайне небольшие прямоугольники, что приводит к неточным результатам.
• Пустой запрос из AppContentIndex.CreateQuery может вызвать исключение.

Экспериментальная версия 2.0 (2.0.0-Experimental1)

Использование ИИ на устройстве с API Windows AI

Пакет SDK для приложений Windows включает расширенные возможности ИИ Windows, что позволяет разработчикам легко интегрировать интеллектуальные функции в свои приложения. Эти улучшения включают локальные функции ИИ, такие как реагирование на входящие запросы, распознавание текста в изображениях, описание содержимого изображения, извлечение объектов из рисунков и многое другое.

Сведения о ответственных методиках разработки, используемых во время создания API-интерфейсов ИИ Windows, которые также можно применять при создании вспомогательных функций ИИ, см. в руководстве по разработке приложений и функций ответственного создания ИИ в Windows .

Машинное обучение Microsoft Windows

API каталога моделей Машинного обучения Windows позволяют приложению или библиотеке динамически загружать большие файлы моделей ИИ из собственных каталогов моделей в Интернете, не отправляя эти большие файлы непосредственно с помощью приложения или библиотеки. Кроме того, каталог моделей поможет фильтровать модели, совместимые с устройством Windows, на котором он работает, чтобы правильная модель скачивалась на устройство.

Ключевые преимущества:

• Добавление каталогов: добавление одного или нескольких онлайн-каталогов
• Обнаружение совместимых моделей. Автоматический поиск моделей, которые работают с оборудованием и провайдерами выполнения пользователя.
• Скачивание моделей: скачивание и хранение моделей из различных источников
• Совместное использование моделей между приложениями: если несколько приложений используют один и тот же источник каталога, модели будут совместно использоваться на диске без дублирования загрузки

Исправления ошибок

• Исправлена проблема в DeploymentManager, которая привела к неправильной отчетности PackageInstallRequired в некоторых случаях.

Новые API для 2.0-experimental1

Этот выпуск включает следующие новые и измененные экспериментальные API:

Microsoft.UI.Composition

    CompositionNotificationDeferral
    CompositionProjectedShadow
        MaxOpacity
        MinOpacity
        OpacityFalloff

    CompositionProjectedShadowCaster
        AncestorClip
        Mask

    CompositionProjectedShadowDrawOrder
    CompositionProjectedShadowReceiver
        DrawOrder
        Mask

Microsoft.UI.Composition.Experimental

    ExpCompositionVisualSurface
    ExpExpressionNotificationProperty
    IExpCompositionPropertyChanged
    IExpCompositionPropertyChangedListener
    IExpCompositor
    IExpVisual

Microsoft.UI.Content

    ChildSiteLink
        IsBelowContent

    ContentAppWindowBridge
    ContentDisplayOrientations
    ContentExternalBackdropLink
    ContentExternalOutputLink
    ContentIsland
        Connected
        ConnectionInfo
        ConnectRemoteEndpoint
        Disconnected
        IsRemoteEndpointConnected
        Root

    ContentIslandEnvironment
        CurrentOrientation
        NativeOrientation
        ThemeChanged

    ContentSite
        TryGetAutomationProvider

    ContentSiteEnvironment
        CurrentOrientation
        NativeOrientation
        NotifyThemeChanged

    CoreWindowSiteBridge
    CoreWindowTopLevelWindowBridge
    DesktopChildSiteBridge
        AcceptRemoteEndpoint
        ConnectionInfo
        IsRemoteEndpointConnected
        RemoteEndpointConnecting
        RemoteEndpointDisconnected
        RemoteEndpointRequestedStateChanged

    DesktopPopupSiteBridge
        AnchoringBehavior
        AnchoringPixelAlignment

    DesktopSiteBridge
        TryCreatePopupSiteBridge

    EndpointConnectionEventArgs
    EndpointRequestedStateChangedEventArgs
    IContentIslandEndpointConnectionPrivate
    IContentSiteBridgeEndpointConnectionPrivate
    PopupAnchoringOptions
    PopupWindowSiteBridge
    ProcessStarter
    SystemVisualSiteBridge

Microsoft.UI.Input

    InputKeyboardSource
        GetForWindowId

    InputLayoutPolicy
    InputLightDismissAction
        GetForIsland

    InputLightDismissEventArgs
    InputPointerActivationBehavior
    InputPointerSource
        ActivationBehavior
        DirectManipulationHitTest
        GetForVisual
        GetForWindowId
        RemoveForVisual
        TouchHitTesting
        TrySetDeviceKinds

    InputPopupController
    LightDismissReason
    PopupPointerMode
    ProximityEvaluation
    TouchHitTestingEventArgs

Microsoft.UI.Input.Experimental

    ExpInputSite
    ExpPointerPoint

Microsoft.UI.Windowing

    AppWindow
        GetCurrentPlacement
        PersistedStateId
        PlacementRestorationBehavior
        SaveCurrentPlacement
        SaveCurrentPlacementForAllPersistedStateIds
        SetCurrentPlacement

    AppWindowPlacementDetails
    DisplayArea
        GetMetricsFromWindowId

    PlacementInfo
    PlacementRestorationBehavior

Microsoft.UI.Xaml

    XamlIsland
        ShouldConstrainPopupsToWorkArea

Microsoft.UI.Xaml.Automation.Peers

    AutomationEvents
        Notification

    InkCanvasAutomationPeer
    PagerControlAutomationPeer

Microsoft.UI.Xaml.Controls

    ContentDialogPlacement
        UnconstrainedPopup

    DoInkPresenterWork
    ElementFactory
    FlowLayout
    FlowLayoutAnchorInfo
    FlowLayoutLineAlignment
    FlowLayoutState
    IApplicationViewSpanningRects
    IndexPath
    InfoBar
        Opened

    InfoBarOpenedEventArgs
    InkCanvas
    ISelfPlayingAnimatedVisual
    ItemContainer
        CanUserInvoke
        CanUserInvokeProperty
        CanUserSelect
        CanUserSelectProperty
        ItemInvoked
        MultiSelectMode
        MultiSelectModeProperty

    ItemContainerInteractionTrigger
    ItemContainerInvokedEventArgs
    ItemContainerMultiSelectMode
    ItemContainerUserInvokeMode
    ItemContainerUserSelectMode
    LayoutPanel
    NumberBox
        InputScope
        InputScopeProperty
        TextAlignment
        TextAlignmentProperty

    PagerControl
    PagerControlButtonVisibility
    PagerControlDisplayMode
    PagerControlSelectedIndexChangedEventArgs
    PagerControlTemplateSettings
    ProgressRing
        DeterminateSource
        DeterminateSourceProperty
        IndeterminateSource
        IndeterminateSourceProperty

    RecyclePool
    RecyclingElementFactory
    ScrollingScrollStartingEventArgs
    ScrollingZoomStartingEventArgs
    ScrollView
        ScrollStarting
        ZoomStarting

    SelectionModel
    SelectionModelChildrenRequestedEventArgs
    SelectionModelSelectionChangedEventArgs
    SelectTemplateEventArgs
    StackLayout
        IsVirtualizationEnabled
        IsVirtualizationEnabledProperty

    StackLayoutState
    TeachingTip
        Opened

    TeachingTipOpenedEventArgs
    UniformGridLayoutState

Microsoft.UI.Xaml.Controls.Primitives

    ScrollPresenter
        ScrollStarting
        ZoomStarting

Microsoft.Windows.AI.MachineLearning

    CatalogModelInfo
    CatalogModelInstance
    CatalogModelInstanceResult
    CatalogModelSource
    CatalogModelStatus
    WinMLModelCatalog

Microsoft.Windows.ApplicationModel.WindowsAppRuntime

    DeploymentManager
        Repair

    DeploymentStatus
        PackageRepairFailed

Microsoft.Windows.AppNotifications

    AppNotification
        ConferencingConfig

    AppNotificationConferencingConfig

Microsoft.Windows.AppNotifications.Builder

    AppNotificationBuilder
        AddCameraPreview

    AppNotificationButton
        SetSettingStyle

    AppNotificationButtonSettingStyle

Microsoft.Windows.SemanticSearch

    EmbeddingVector
    SemanticSearchContract

Microsoft.Windows.Storage

    ApplicationData
        GetForUnpackaged

Microsoft.Windows.Vision

    ScreenRegionBoundingBox
    ScreenRegionDetectionContract
    ScreenRegionLabel

Архив заметок о выпуске экспериментального канала

Связанные темы

• Стабильный канал
• предварительный канал
• Установка инструментов для Windows App SDK
• Создание простого проекта WinUI 3
• Использование пакета Windows App SDK в существующем проекте
• Развертывание приложений, использующих пакет SDK для приложений для Windows