Примечание
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Обнаружение сцены определяет момент изменения сцены в видео на основе визуальных подсказок. Сцена показывает одно событие и включает ряд связанных кадров. Снимки — это ряд кадров, которые отличаются визуальными подсказками, такими как резкие или постепенные изменения в цветовой схеме смежных кадров. Метаданные снимка включают время начала, время окончания и список ключевых кадров в снимке. Ключевой кадр — это кадр из сцены, который лучше всего представляет эту сцену.
Варианты обнаружения сцен, снимка и ключевых кадров
- Легко просматривайте, управляйте и редактируйте ваш видео-контент на основе различных уровней детализации.
- Используйте обнаружение типа редакционных кадров для редактирования видео в клипы, трейлеры или при поиске определенного стиля ключевого кадра.
Обнаружение сцен
Индексатор видео Azure AI определяет, когда сцена изменяется в видео на основе визуальных подсказок. Сцена изображает одно событие, состоящее из ряда последовательных снимков, которые семантические связаны.
Миниатюра сцены — это первый ключевой кадр её исходного снимка.
Azure AI Video Indexer сегментирует видео на сцены на основе согласованности цвета в последовательных кадрах и извлекает время начала и окончания каждой сцены.
Видео должно содержать как минимум три сцены.
Обнаружение выстрела
Индексатор видео Azure AI определяет, когда снимок изменяется в видео на основе визуальных подсказок. Это делает, обнаруживая как резкие, так и постепенные переходы в цветовую схему и другую визуальную особенность смежных кадров. Метаданные выстрела включают время начала и окончания, а также список ключевых кадров, включенных в этот снимок. Снимки — это последовательные кадры, сделанные одной камерой в одно и то же время.
Примечание
Между кадрами может быть промежуток, который включает в себя кадры, являющиеся частью перехода. Поэтому эти кадры не считаются частью кадра.
Обнаружение типа редакторского кадра ключевых кадров
Тип кадра определяется на основе анализа первого ключевого кадра каждого сегмента. Снимки определяются масштабом, размером и расположением лиц, отображаемых в их первом ключевом кадре.
Размер и масштаб кадра определяются на основе расстояния между камерой и лицами, появляющимися в кадре. Индексатор видео Azure AI обнаруживает следующие типы снимков с помощью следующих свойств:
- Широкий: показывает все тело человека.
- Средний план: показывает верхнюю часть тела человека и лицо.
- Крупный план: в основном показывает лицо человека.
- Экстремальный крупный план: показывает лицо человека, полностью заполняющее экран.
Типы кадров также можно определить по расположению главных персонажей относительно центра кадра. Это свойство определяет следующие типы кадров в Azure AI Video Indexer:
- Левая сторона: человек появляется в левой части кадра.
- Центральное лицо: человек появляется в центральном регионе кадра.
- Правое лицо: человек появляется в правой части кадра.
- На открытом воздухе: человек появляется в наружной обстановке.
- В помещении: человек появляется в закрытом пространстве.
Другие характеристики:
- Два кадра: показывает лица двух человек среднего размера.
- Несколько лиц: более двух людей.
Просмотрите файл JSON с аналитическими данными с помощью веб-портала.
После отправки и индексирования видео скачайте аналитические сведения в формате JSON с веб-портала.
- Выберите вкладку Библиотека.
- Выберите нужный носитель.
- Выберите "Скачать", а затем выберите "Аналитика" (JSON). JSON-файл открывается в новой вкладке браузера.
- Найдите пару ключей, описанную в примере ответа.
Использование API
- Используйте запрос на получение индекса видео . Передайте
&includeSummarizedInsights=false. - Найдите пары ключей, описанные в примере ответа.
Пример ответа
"scenes": [
{
"id": 1,
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:09.1333333",
"start": "0:00:00",
"end": "0:00:09.1333333"
}
]
},
{
"id": 2,
"instances": [
{
"adjustedStart": "0:00:09.1333333",
"adjustedEnd": "0:00:10.8",
"start": "0:00:09.1333333",
"end": "0:00:10.8"
}
]
},
{
"id": 3,
"instances": [
{
"adjustedStart": "0:00:10.8",
"adjustedEnd": "0:00:26.9333333",
"start": "0:00:10.8",
"end": "0:00:26.9333333"
}
]
}...
{
"id": 31,
"instances": [
{
"adjustedStart": "0:18:45",
"adjustedEnd": "0:18:50.2",
"start": "0:18:45",
"end": "0:18:50.2"
}
]
}
],
"shots": [
{
"id": 1,
"tags": [
"Wide",
"Medium"
],
"keyFrames": [
{
"id": 1,
"instances": [
{
"thumbnailId": "60152925-0e6d-48cf-be33-aa6c00dfb334",
"adjustedStart": "0:00:00.1666667",
"adjustedEnd": "0:00:00.2",
"start": "0:00:00.1666667",
"end": "0:00:00.2"
}
]
},
{
"id": 2,
"instances": [
{
"thumbnailId": "f1a09cdf-b42b-45f5-bc69-5292d1216e50",
"adjustedStart": "0:00:00.2333333",
"adjustedEnd": "0:00:00.2666667",
"start": "0:00:00.2333333",
"end": "0:00:00.2666667"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:01.9333333",
"start": "0:00:00",
"end": "0:00:01.9333333"
}
]
},
{
"id": 2,
"tags": [
"Medium"
],
"keyFrames": [
{
"id": 3,
"instances": [
{
"thumbnailId": "b17774d0-41cf-4174-9c41-6bc2f17c86e2",
"adjustedStart": "0:00:02",
"adjustedEnd": "0:00:02.0333333",
"start": "0:00:02",
"end": "0:00:02.0333333"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:01.9333333",
"adjustedEnd": "0:00:02.9666667",
"start": "0:00:01.9333333",
"end": "0:00:02.9666667"
}
]
}...
Скачивание ключевых кадров с помощью API
Чтобы скачать каждый ключевой кадр, используйте идентификаторы ключевых кадров с запросом API Get Thumbnails.
Предупреждение
Не используйте данные непосредственно из папки артефактов для рабочих целей. Артефакты являются промежуточными выходными данными процесса индексирования и являются необработанными выходными данными различных обработчиков ИИ, которые анализируют видео. Схема артефактов может измениться со временем.
Это важно
Ознакомьтесь с обзором заметок о прозрачности всех функций VI. Каждая идея также сопровождается собственной заметкой о прозрачности.
Заметки об обнаружении сцен, снимков и ключевых кадров
- Детектор лучше всего работает на файлах мультимедиа, которые имеют снимки и сцены внутри них.
- Если видео снято с одной камерой, которая никогда не движется, сегментация кадра работает плохо, и ключевые кадры могут не отражать содержимое видео.
- Ключевые кадры выбираются с учётом уровня размытости кадров. Если большая часть кадра размыта, например из-за движения, то ключевой кадр также может быть размытым.
- Видео с низким качеством визуального элемента дают плохие результаты.
- Время каждого снимка, сцены или ключевого кадра может измениться (менее секунды).
Компоненты сцены, снимка и ключевого кадра
Никакие компоненты не определены.
Пример кода
Просмотреть все примеры для VI