Общие сведения об обнаружении сцены, снимка, ключевых кадров
Сцена, снимок, обнаружение ключевых кадров
Обнаружение сцены определяет, когда сцена изменяется в видео на основе визуальных подсказок.
Сцена изображает одно событие и состоит из серии выстрелов, которые связаны.
Снимки — это ряд кадров, отличающихся визуальными подсказками, такими как резкие и постепенные переходы в цветовую схему смежных кадров. Метаданные выстрела включают время начала и окончания, а также список ключевых кадров, включенных в снимок.
Ключевой кадр — это кадр из выстрела, который лучше всего представляет выстрел.
Варианты использования сцен, снимков и ключевых кадров
- Легко просматривайте, управляйте и редактируйте видеоконтент на основе различных детализаций.
- Используйте обнаружение типа редакторского снимка для редактирования видео в клипы, трейлеры или при поиске определенного стиля ключевого кадра.
Обнаружение сцены
Индексатор видео Azure AI определяет, когда сцена изменяется в видео на основе визуальных подсказок. Сцена изображает одно событие и состоит из ряда последовательных снимков, которые семантические связаны.
Эскиз сцены — это первый опорный кадр ее базового кадра.
Индексатор видео Azure AI сегментирует видео в сцены на основе цветовой согласованности между последовательными выстрелами и извлекает время начала и окончания каждой сцены.
Видео должно содержать не менее трех сцен.
Обнаружение сюжетов
Индексатор видео Azure AI определяет, когда снимок изменяется в видео на основе визуальных подсказок, обнаруживая как резкие, так и постепенные переходы в цветовую схему и другую визуальную функцию смежных кадров. Метаданные кадра включают время начала и окончания, а также список опорных кадров, находящихся в составе этого кадра. Кадры снимаются последовательно одной камерой в одно и то же время.
Примечание.
Между выстрелами может быть разрыв, включающий кадры, которые являются частью перехода. Они не считаются частью выстрела.
Определение типа снимка с редакторским кадром
Тип выстрела определяется на основе анализа первого ключевого кадра каждого выстрела. Сюжеты определяются масштабом, размером и расположением лиц, фигурирующих в первом опорном кадре.
Размер и масштаб сюжета вычисляются на основе расстояния между камерой и лицами в кадре. Используя эти свойства, Индексатор видео Azure AI обнаруживает следующие типы снимков:
- Широкий: показывается все тело человека.
- Средний: показываются верхняя часть тела и лицо человека.
- Крупный план: главным образом показывается лицо человека.
- Очень крупный план: показывается лицо человека на весь экран.
Типы сюжетов также можно определять по расположению символов субъекта относительно центра кадра. Это свойство определяет следующие типы снимков в Индексаторе видео Azure AI:
- Лицо слева: человек находится в левой части кадра.
- Лицо в центре: человек находится в центральной части кадра.
- Лицо справа: человек находится в правой части кадра.
- На улице: человек показан на улице.
- В помещении: человек показан в помещении.
Дополнительные характеристики
- Два сюжета: выполняется показ двух лиц среднего размера.
- Несколько лиц: более двух человек.
Просмотр json аналитики с помощью веб-портала
После отправки и индексирования видео аналитические сведения доступны в формате JSON для скачивания с помощью веб-портала.
- Перейдите на вкладку "Библиотека ".
- Выберите носитель, с которым вы хотите работать.
- Выберите "Скачать" и "Аналитика" (JSON). Файл JSON открывается на новой вкладке браузера.
- Найдите пару ключей, описанную в примере ответа.
Использование API
- Используйте запрос на получение индекса видео. Мы рекомендуем передать
&includeSummarizedInsights=false. - Найдите пары ключей, описанные в примере ответа.
Пример отклика
"scenes": [
{
"id": 1,
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:09.1333333",
"start": "0:00:00",
"end": "0:00:09.1333333"
}
]
},
{
"id": 2,
"instances": [
{
"adjustedStart": "0:00:09.1333333",
"adjustedEnd": "0:00:10.8",
"start": "0:00:09.1333333",
"end": "0:00:10.8"
}
]
},
{
"id": 3,
"instances": [
{
"adjustedStart": "0:00:10.8",
"adjustedEnd": "0:00:26.9333333",
"start": "0:00:10.8",
"end": "0:00:26.9333333"
}
]
}...
{
"id": 31,
"instances": [
{
"adjustedStart": "0:18:45",
"adjustedEnd": "0:18:50.2",
"start": "0:18:45",
"end": "0:18:50.2"
}
]
}
],
"shots": [
{
"id": 1,
"tags": [
"Wide",
"Medium"
],
"keyFrames": [
{
"id": 1,
"instances": [
{
"thumbnailId": "60152925-0e6d-48cf-be33-aa6c00dfb334",
"adjustedStart": "0:00:00.1666667",
"adjustedEnd": "0:00:00.2",
"start": "0:00:00.1666667",
"end": "0:00:00.2"
}
]
},
{
"id": 2,
"instances": [
{
"thumbnailId": "f1a09cdf-b42b-45f5-bc69-5292d1216e50",
"adjustedStart": "0:00:00.2333333",
"adjustedEnd": "0:00:00.2666667",
"start": "0:00:00.2333333",
"end": "0:00:00.2666667"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:01.9333333",
"start": "0:00:00",
"end": "0:00:01.9333333"
}
]
},
{
"id": 2,
"tags": [
"Medium"
],
"keyFrames": [
{
"id": 3,
"instances": [
{
"thumbnailId": "b17774d0-41cf-4174-9c41-6bc2f17c86e2",
"adjustedStart": "0:00:02",
"adjustedEnd": "0:00:02.0333333",
"start": "0:00:02",
"end": "0:00:02.0333333"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:01.9333333",
"adjustedEnd": "0:00:02.9666667",
"start": "0:00:01.9333333",
"end": "0:00:02.9666667"
}
]
}...
Скачивание ключевых кадров с помощью API
Чтобы скачать каждый ключевой кадр, используйте идентификаторы ключевых кадров с запросом на получение эскизов .
Предупреждение
Для производственных целей не рекомендуется использовать данные непосредственно из папки артефактов. Артефакты — это промежуточные выходные данные процесса индексирования. Они по сути являются необработанными выходными данными различных обработчиков ИИ, которые анализируют видео; Схема артефактов может измениться со временем.
Внимание
Важно прочитать общие сведения о прозрачности для всех функций VI. Каждое представление также имеет заметки о прозрачности собственных:
Заметки об обнаружении сцен, снимков и ключевых кадров
- Детектор лучше всего работает на файлах мультимедиа, которые имеют снимки и сцены внутри них.
- Если видео снято с одной камерой, которая никогда не движется, сегментация выстрела работает плохо, и ключевые кадры могут не быть представительными.
- Ключевые кадры выбираются с учетом уровня размытости кадров. Если большая часть снимка размыта, например с движением, ключевой кадр также может быть размытым.
- Видео с низким качеством визуального элемента дают плохие результаты.
- Время каждого снимка, сцены или ключевого кадра может измениться (менее секунды).
Компоненты сцены, снимка и ключевого кадра
Никакие компоненты не определены.