Общие сведения об индексаторе видео в Azure AI

Индексатор видео Azure — это облачное приложение, часть служб ИИ Azure, созданная на основе служб ИИ Azure (таких как Face, Translator, Azure AI Vision и speech). Она позволяет извлекать аналитические сведения из видео с помощью видеоиндексатора ИИ и звуковых моделей.

Индексатор видео Azure AI анализирует видео и аудио содержимое, запуская более 30 моделей ИИ для получения глубоких аналитических сведений. Ниже приведена иллюстрация анализа аудио и видео, выполняемого индексатором видео Azure AI в фоновом режиме:

Чтобы приступить к извлечению аналитических сведений с помощью Индексатора видео в Azure AI, ознакомьтесь с разделом о том, как начать работу .

Что можно сделать с индексатором видео Azure AI?

Аналитика Индексатора видео Azure AI может применяться ко многим сценариям:

• Глубокий поиск. Чтобы улучшить возможности поиска в видеотеке, используйте аналитические сведения, извлеченные из видео. Например, индексирование лиц и произнесенных слов позволяет выполнять поиск моментов в видео, когда человек произносит определенные слова или когда два человека находятся в кадре вместе. Поиск на основе таких аналитических сведений, извлеченных из видео, — полезная функция для информационных агентств, образовательных учреждений, вещательных компаний, владельцев развлекательного содержимого, корпоративных бизнес-приложений и в целом для любой отрасли, где применяются библиотеки видео, по которым нужно выполнять поиск.
• Создание контента: создание трейлеров, роликов, контента для социальных сетей или новостных клипов на основе аналитики, извлеченной из Индексатора видео Azure AI. Ключевые кадры, маркеры сцен и временные метки появления людей и меток упрощают процесс создания, позволяя легко добраться до нужных частей видео при создании контента.
• Специальные возможности: хотите ли вы сделать содержимое доступным для людей с ограниченными возможностями или хотите, чтобы содержимое распределялось по разным регионам с помощью разных языков, можно использовать транскрибирование и перевод, предоставляемые Индексатором видео Azure AI на нескольких языках.
• Монетизация: Индексатор видео Azure AI может помочь повысить ценность видео. Например, отрасли, которые получают доход от рекламы (новостные СМИ, социальные сети и т. д.), могут предоставлять актуальную рекламу, используя извлеченные аналитические сведения в качестве дополнительных сигналов для сервера рекламы.
• Модерация контента: Используйте текстовые и визуальные модели модерации контента для обеспечения безопасности ваших пользователей от неуместного содержимого и проверки соответствия публикуемого вами контента ценностям вашей организации. Вы можете автоматически блокировать определенные видеоролики или оповещать пользователей о содержимом.
• Рекомендации. Аналитика видео можно использовать для улучшения взаимодействия с пользователями, подчеркнув соответствующие моменты видео для пользователей. Помечая каждое видео с дополнительными метаданными, вы можете рекомендовать пользователям наиболее релевантные видео и выделить части видео, соответствующие их потребностям.

Функции ИИ для видео/аудио

В следующем списке показаны аналитические сведения, которые можно получить из ваших видеофайлов и аудиофайлов с помощью функции видео-индексации и аудио ИИ Azure (модели).

Если не указано иное, модель общедоступна.

Видео модели

• Определение лиц — обнаружение и группировка лиц, показываемых на видео.

• Идентификация знаменитостей: определяет более 1 миллиона знаменитостей, таких как мировые лидеры, актеры, художники, спортсмены, исследователи, бизнес и технологические лидеры по всему миру. Данные об этих знаменитостях можно найти также на различных веб-сайтах (например, IMDB и Википедия).

• Идентификация лиц на основе аккаунта: обучает модель для конкретного аккаунта. Затем на основе обученной модели он распознает лица в видео. Дополнительные сведения см. в разделе "Настройка модели персоны" на веб-сайте Azure AI Video Indexer и настройка модели персоны с помощью API Azure AI Video Indexer.

• Извлечение эскизов для лиц: определяет лучшее лицо, запечатлённое в каждой группе лиц (на основе качества, размера и фронтального положения) и извлекает его как изображение.

• Оптическое распознавание символов (OCR): извлекает текст из изображений, таких как изображения, уличные знаки и продукты в файлах мультимедиа для создания аналитических сведений.

• Модерация визуального контента — обнаружение визуального содержимого для взрослых и (или) содержимого непристойного характера.

• Определение меток — определение показываемых визуальных объектов и действий.

• Сегментация сцен: определяет моменты изменения сцен в видео на основе визуальных подсказок. Сцена отображает одно событие и состоит из ряда последовательных кадров, которые семантически связаны друг с другом.

• Обнаружение сцены: определяет, когда сцена меняется в видео на основе визуальных подсказок. Сцена — это серия кадров, взятых из той же камеры для съемки. Дополнительные сведения см. в разделе Сцены, сюжеты и опорные кадры.

• Определение черных рамок — определение черных рамок, присутствующих на видео.

• Извлечение ключевых кадров — обнаружение статичных ключевых кадров на видео.

• Титры: обозначает начало и конец титров в конце телевизионных шоу и фильмов.

• Определение типа редакционного кадра: Теги кадров на основе их типа (например, широкий кадр, средний кадр, крупный план, сверхкрупный план, двойной кадр, несколько человек, наружный и внутренний, и т. д.). Дополнительные сведения см. Обнаружение типа редакционного снимка.

• Обнаружение наблюдаемых людей: обнаруживает наблюдаемых людей в видео и предоставляет такие сведения, как расположение человека в видеокадре (с использованием ограничивающих прямоугольников) и точная метка времени (начало, конец) и уверенность в момент появления человека. Дополнительные сведения см. в статье Отслеживание наблюдаемых людей в видео.

  • Сопоставленный человек: Сопоставляет людей, замеченных на видео, с соответствующими обнаруженными лицами. Соответствие между наблюдаемыми людьми и лицами содержит уровень уверенности.
  • Обнаруженная одежда: обнаруживает типы одежды людей, появляющихся в видео, и предоставляет информацию, например длинные или короткие рукава, длинные или короткие брюки и юбку или платье. Одежда, обнаруженная на людях, ассоциируется с ними, и точные метки времени (начало, конец) вместе с уровнем достоверности обнаружения предоставляются.
  • Представленная одежда: захватывает изображения представленной одежды, отображаемые в видео. Вы можете улучшить целевую рекламу с помощью аналитических сведений о одежде. Сведения о том, как избранные изображения одежды ранжируются и как получить аналитику, см. в избранная одежда.

• Обнаружение объектов Находит уникальные объекты, которые также отслеживаются, чтобы при возвращении в кадр они были признаны. См. сведения об обнаружении объектов Индексатора видео в Azure AI

• Обнаружение катушки: определяет следующие аналитические сведения, относящиеся к фильму, на стадии постпроизводства при использовании расширенного параметра индексирования видео:

  • Обнаружение clapperboard с извлечением метаданных.
  • Обнаружение цифровых шаблонов, включая цветовые полосы.
  • Обнаружение безтекстового листа, включая сопоставление сцен.

  Дополнительные сведения см. в разделе Slate detection.

• Обнаружение текстового логотипа: соответствует определенному предварительно определенному тексту с помощью OCR индексатора видео Azure AI. Например, если пользователь создал текстовый логотип: Microsoftв качестве Microsoft логотипа обнаруживается разные внешние виды словаMicrosoft. Дополнительные сведения см. в разделе "Обнаружение текстового логотипа".

Звуковые модели

• Расшифровка речи — преобразование речи в текст на более чем 50 языках и поддержка расширений. Дополнительные сведения см. в статье о поддержке языка Индексатора видео в Azure AI.

• Автоматическое обнаружение языка: определяет доминирующий язык. Дополнительные сведения см. в статье о поддержке языка Индексатора видео в Azure AI. Если язык не удается определить с уверенностью, Индексатор видео Azure предполагает, что речь идет на английском языке.

• Многоязычная идентификация речи и транскрибирование: определяет язык в разных сегментах звука. Отправляет каждый сегмент файла мультимедиа для транскрибирования, а затем объединяет транскрипцию в единый элемент. Дополнительные сведения о транскрибировании см. в разделе "Транскрибирование"

• Скрытые субтитры — создание скрытых субтитров в трех форматах: VTT, TTML, SRT.

• Обработка двух каналов: автоматическое обнаружение отдельных расшифровок и объединение в единую временную шкалу.

• Уменьшение шума — очистка телефонных разговоров или шумных записей (на основе фильтров Skype).

• Настройка транскрипций (CRIS): обучение моделей преобразования речи в текст, адаптированных для конкретных отраслей. Дополнительные сведения см. в разделе "Настройка языковой модели".

• Идентификация говорящих: Определение, кто и когда произнес определённые слова. В одном звуковом файле можно определить 16 говорящих.

• Статистика выступающих: предоставляет данные о долях речи выступающих.

• Модерация текстового содержимого — определение непристойного текста в расшифровке речи.

• Обнаружение эмоций на основе текста: эмоции, такие как радость, печаль, гнев и страх, которые были обнаружены с помощью анализа транскрибирования.

• Перевод. Создает переводы транскрибирования звука на различных языках. Дополнительные сведения см. в статье о поддержке языка Индексатора видео в Azure AI.

• Обнаружение звуковых эффектов: обнаруживает следующие звуковые эффекты в неречевых сегментах содержимого: тревога или сирена, лай собаки, реакции толпы (аплодисменты, улюлюканье и крики), выстрелы или взрыв, смех, звук разбитого стекла и молчание.

  Обнаруженные звуковые события доступны в файле со скрытыми субтитрами. Файл можно скачать с веб-сайта Индексатора видео Azure AI. Дополнительные сведения см. в статье Обнаружение звуковых эффектов.

  Примечание.

  Полный набор событий доступен только при выборе варианта Расширенный анализ звука в предустановленной конфигурации отправки при отправке файла. По умолчанию обнаруживается только тишина.

Модели аудио и видео (мультиканала)

При индексировании по одному каналу доступны частичные результаты для этих моделей.

• Излечение ключевых слов — извлечение ключевых слов из речи и визуального текста.
• Извлечение именованных сущностей: извлекает бренды, местоположения и людей из речи и визуального текста с помощью обработки естественного языка (NLP).
• Вывод раздела: извлекает разделы на основе различных ключевых слов (т. е. ключевых слов "Фондовая биржа", "Уолл-стрит" создает раздел "Экономика"). В модели используются три разных онтологии (IPTC, Википедия и иерархическая тема индексатора видео). Модель использует транскрипцию (произнесенные слова), содержимое OCR (визуальный текст) и знаменитостей, распознанных на видео с помощью модели распознавания лиц Video Indexer.
• Артефакты — извлечение широкого набора артефактов "следующего уровня детализации" для каждой из моделей.
• Анализ тональности — определение положительной, отрицательной и нейтральной тональности в речи и визуальном тексте.

Как приступить к работе с Индексатором видео в Azure AI?

Узнайте, как приступить к работе с Индексатором видео в Azure AI.

После настройки начните использовать аналитические сведения и ознакомьтесь с другими руководствами.

Соблюдение нормативных требований, конфиденциальность и безопасность

Вы должны соответствовать всем применимым законам в использовании Индексатора видео Azure ИИ, и вы не можете использовать Индексатор видео Azure или любую службу Azure таким образом, чтобы нарушать права других пользователей или что может быть вредно для других.

Перед отправкой видео-изображения в Индексатор видео и видео Azure необходимо иметь все соответствующие и юридические права на использование видео/изображения, включая, где это требуется в соответствии с законом, все необходимые согласия от отдельных лиц (если таковые имеются) в видео/изображении, для использования, обработки и хранения данных в Индексаторе видео Azure и Azure. Некоторые юрисдикции могут предъявлять особые юридические требования к сбору, онлайн-обработке и хранению определенных категорий данных, таких как биометрические данные. Прежде чем использовать Индексатор видео Azure AI и Azure для обработки и хранения любых данных, подлежащих специальным юридическим требованиям, необходимо убедиться, что ваше использование соответствует всем таким юридическим требованиям, которые могут применяться к вам и вашему предполагаемому использованию.

Чтобы узнать о соответствии требованиям, конфиденциальности и безопасности в Индексаторе видео в Azure AI, посетите Центр управления безопасностью Майкрософт. Для обязательств корпорации Майкрософт по конфиденциальности, обработки данных и хранения данных, включая удаление данных, ознакомьтесь с заявлением о конфиденциальности Майкрософт, условиями веб-служб (OST) и надстройкой обработки данных (DPA). Используя индексатор видео Azure AI, вы соглашаетесь соблюдать OST, DPA и Заявление о конфиденциальности.