Получение аналитических сведений об обнаружении звуковых эффектов

  • Применяется к: Cloud-based Azure AI Video Indexer

Обнаружение звуковых эффектов обнаруживает акустические события и классифицирует их в категории, такие как смех, реакция толпы, тревоги или сирены.

Варианты использования звуковых эффектов

  • Улучшение доступности путем предоставления большего контекста для аудитории с нарушением слуха через транскрибирование неговорящих эффектов.
  • Повышение эффективности при создании необработанных данных для создателей контента. Важные моменты в промоакциях и трейлерах, такие как смех, реакции толпы, выстрелы или взрывы, можно определить, например, в медиа и на развлекательных платформах.
  • Обнаруживайте и классифицируйте огнестрельные выстрелы, взрывы и разбитие стекла в интеллектуальной городской системе или в других общественных пространствах, которые включают камеры и микрофоны.

Поддерживаемые категории аудио

Обнаружение звуковых эффектов может обнаруживать и классифицировать эффекты в стандартные и расширенные категории. Дополнительные сведения см. на странице цен.

В следующей таблице показано, какие категории поддерживаются в зависимости от названия предустановки (только аудио / видео + аудио и расширенное аудио / расширенное видео + аудио). При использовании расширенного индексирования категории отображаются на панели "Аналитика" веб-сайта.

Class Стандартная индексация Расширенная индексация
Реакция толпы ✔️
Silence ✔️ ✔️
Выстрел или взрыв ✔️
Разбиение стекла ✔️
Сигнализация или сирена ✔️
Laughter ✔️
Dog ✔️
Звон колокола ✔️
Bird ✔️
Car ✔️
Engine ✔️
Crying ✔️
Воспроизведение музыки ✔️
Screaming ✔️
Thunderstorm ✔️

Просмотрите данные JSON с помощью веб-портала

После отправки и индексирования видео скачайте аналитические сведения в формате JSON с веб-портала.

  1. Перейдите на вкладку "Библиотека ".
  2. Выберите нужный носитель.
  3. Выберите "Скачать", а затем выберите "Аналитика" (JSON). Файл JSON открывается на новой вкладке браузера.
  4. Найдите пару ключей, описанную в примере ответа.

Ниже приведен пример обнаружения звуковых эффектов.

Снимок экрана, показывающий обнаружение звуковых эффектов выстрелов в веб-портале Индексатора видео в Azure AI и загруженный файл JSON.

Использование API

  1. Используйте запрос на получение индекса видео . Передайте &includeSummarizedInsights=false.
  2. Найдите пары ключей, описанные в примере ответа.

Пример отклика

    "audioEffects": [
      {
        "id": 1,
        "type": "Silence",
        "instances": [
          {
            "confidence": 0,
            "adjustedStart": "0:01:46.243",
            "adjustedEnd": "0:01:50.434",
            "start": "0:01:46.243",
            "end": "0:01:50.434"
          }
        ]
      },
      {
        "id": 2,
        "type": "Speech",
        "instances": [
          {
            "confidence": 0,
            "adjustedStart": "0:00:00",
            "adjustedEnd": "0:01:43.06",
            "start": "0:00:00",
            "end": "0:01:43.06"
          }
        ]
      }
    ]

Important

Ознакомьтесь с обзором заметки о прозрачности для функций VI.

Пример кода

См. все примеры для VI

Закрытые подписи

Звуковые эффекты в файлах с закрытыми субтитрами отображаются как квадратные скобки:

Type Example
SRT 00:00:00,000 00:00:03,671
[Выстрел или взрыв]
VTT 00:00:00.000 00:00:03.671
[Выстрел или взрыв]
TTML Достоверность: 0.9047
<p begin="00:00:00.000" end="00:00:03.671">[Gunshot or explosion]</p>
TXT [Выстрел или взрыв]
CSV 0.9047,00:00:00.000,00:00:03.671, [Выстрел или взрыв]

Note

  • Silence Тип события не добавляется в закрытые субтитры.
  • Минимальная длительность таймера для отображения события составляет 700 миллисекунда.

Добавление звуковых эффектов в закрытые файлы субтитров

Чтобы включить звуковые эффекты в файлы закрытых субтитров, можно использовать API или веб-портал.

API

Вы можете добавить звуковые эффекты в файлы закрытых субтитров с помощью запроса "Получить субтитры видео" и установки параметра в includeAudioEffects.

Note

При использовании обновления расшифровки из файлов с закрытыми субтитрами или обновления пользовательской языковой модели из тех же файлов звуковые эффекты, включенные в эти файлы, игнорируются.

Веб-портал

Вы также можете использовать веб-портал, выбрав "Скачать ->Закрытые субтитры ->Включить звуковые эффекты.

Связанный контент

  • Last updated on