Общие сведения об индексаторе видео в Azure AI

Индексатор видео Azure — это облачное приложение, часть служб ИИ Azure, созданная на основе служб ИИ Azure (таких как Face, Translator, Azure AI Vision и speech). Она позволяет извлекать аналитические сведения из видео с помощью видеоиндексатора ИИ и звуковых моделей.

Индексатор видео Azure AI анализирует видео и аудио содержимое, запуская более 30 моделей ИИ для получения глубоких аналитических сведений. Ниже приведена иллюстрация анализа аудио и видео, выполняемого индексатором видео Azure AI в фоновом режиме:

Чтобы приступить к извлечению аналитических сведений с помощью Индексатора видео в Azure AI, ознакомьтесь с разделом о том, как начать работу .

Что можно сделать с индексатором видео Azure AI?

Аналитика Индексатора видео Azure AI может применяться ко многим сценариям:

• Глубокий поиск. Чтобы улучшить возможности поиска в видеотеке, используйте аналитические сведения, извлеченные из видео. Например, индексирование лиц и произнесенных слов позволяет выполнять поиск моментов в видео, когда человек произносит определенные слова или когда два человека находятся в кадре вместе. Поиск на основе таких аналитических сведений, извлеченных из видео, — полезная функция для информационных агентств, образовательных учреждений, вещательных компаний, владельцев развлекательного содержимого, корпоративных бизнес-приложений и в целом для любой отрасли, где применяются библиотеки видео, по которым нужно выполнять поиск.
• Создание контента: создание трейлеров, роликов, контента для социальных сетей или новостных клипов на основе аналитики, извлеченной из Индексатора видео Azure AI. Ключевые кадры, маркеры сцен и временные метки появления людей и меток упрощают процесс создания, позволяя легко добраться до нужных частей видео при создании контента.
• Специальные возможности: хотите ли вы сделать содержимое доступным для людей с ограниченными возможностями или хотите, чтобы содержимое распределялось по разным регионам с помощью разных языков, можно использовать транскрибирование и перевод, предоставляемые Индексатором видео Azure AI на нескольких языках.
• Монетизация: Индексатор видео Azure AI может помочь повысить ценность видео. Например, отрасли, которые получают доход от рекламы (новостные СМИ, социальные сети и т. д.), могут предоставлять актуальную рекламу, используя извлеченные аналитические сведения в качестве дополнительных сигналов для сервера рекламы.
• Модерация контента: Используйте текстовые и визуальные модели модерации контента для обеспечения безопасности ваших пользователей от неуместного содержимого и проверки соответствия публикуемого вами контента ценностям вашей организации. Вы можете автоматически блокировать определенные видеоролики или оповещать пользователей о содержимом.
• Рекомендации. Аналитика видео можно использовать для улучшения взаимодействия с пользователями, подчеркнув соответствующие моменты видео для пользователей. Помечая каждое видео с дополнительными метаданными, вы можете рекомендовать пользователям наиболее релевантные видео и выделить части видео, соответствующие их потребностям.

Функции ИИ для видео/аудио

В следующем списке показаны аналитические сведения, которые можно получить из ваших видеофайлов и аудиофайлов с помощью функции видео-индексации и аудио ИИ Azure (модели).

Если не указано иное, модель общедоступна.

Видео модели

• Обнаружение лиц: обнаружение лиц и групп лиц, отображаемых в видео.

• Идентификация знаменитостей: определяет более 1 миллиона знаменитостей, таких как мировые лидеры, актеры, художники, спортсмены, исследователи, бизнес и технологические лидеры по всему миру. Данные об этих знаменитостях можно найти также на различных веб-сайтах (например, IMDB и Википедия).

• Идентификация лиц по учетной записи: проводит обучение модели для конкретной учетной записи. Затем на основе обученной модели он распознает лица в видео. Дополнительные сведения см. в статье "Настройка модели person" на веб-сайте Индексатора видео Azure ИИ и настройка модели person с помощью API индексатора видео Azure.

• Извлечение эскизов для лиц: определяет наилучшее отображенное лицо в каждой группе лиц (на основе качества, размера и фронтального ракурса) и извлекает его в виде изображения.

• Оптическое распознавание символов (OCR): извлекает текст из изображений, таких как изображения, уличные знаки и продукты в файлах мультимедиа для создания аналитических сведений.

• Модерация визуального содержимого: обнаруживает визуальные материалы для взрослых и/или провокационные.

• Идентификация меток: определяет визуальные объекты и действия, отображаемые.

• Сегментация сцены: определяет, когда сцена изменяется в видео на основе визуальных подсказок. Сцена изображает одно событие и состоит из ряда последовательных выстрелов, которые семантически связаны.

• Обнаружение кадра: определяет, когда кадр меняется в видео на основе визуальных подсказок. Кадр — это серия снимков, сделанных одной и той же кинокамерой. Дополнительные сведения см. в разделах "Сцены", "Снимки" и "Ключевые кадры".

• Обнаружение черных кадров: определяет черные кадры, представленные в видео.

• Извлечение ключевых кадров: обнаруживает стабильные ключевые кадры в видео.

• Финальные титры: Определяет начало и конец финальных титров в конце телевизионных шоу и фильмов.

• Определение типа редакционного кадра: Теги кадров на основе их типа (например, общий план, средний план, крупный план, детальный план, пару, несколько человек, на улице и в помещении, и т. д.). Для получения дополнительной информации см. Определение типа редакционного снимка.

• Обнаружение наблюдаемых людей: обнаруживает наблюдаемых людей в видео и предоставляет такие сведения, как расположение человека в видеокадре (с использованием ограничивающих прямоугольников), точную метку времени (начало, конец) и уровень уверенности при появлении человека. Для получения дополнительной информации см. в разделе "Отслеживание наблюдаемых людей в видео".

  • Сопоставленный человек: идентифицирует людей, которых заметили на видео, с соответствующими лицами, обнаруженными. Соответствие между наблюдаемыми людьми и лицами содержит уровень уверенности.
  • Обнаруженная одежда: обнаруживает типы одежды людей, появляющихся в видео, и предоставляет информацию, например длинные или короткие рукава, длинные или короткие брюки и юбку или платье. Одежда, обнаруженная на людях, ассоциируется с ними, и точные метки времени (начало, конец) вместе с уровнем достоверности обнаружения предоставляются.
  • Избранная одежда: захватывает изображения избранной одежды, отображаемые в видео. Вы можете улучшить целевую рекламу с помощью аналитических сведений о одежде. Сведения о том, как изображения выбранной одежды ранжируются и как получить аналитику, см. избранная одежда.

• Обнаружение объектов Определяет уникальные объекты, которые также отслеживаются, чтобы при их возврате в кадр они были распознаны. См. сведения об обнаружении объектов Индексатора видео в Azure AI

• Обнаружение slate: определяет следующие аналитические сведения о фильме после производства при индексировании видео с помощью расширенного параметра индексирования:

  • Обнаружение clapperboard с извлечением метаданных.
  • Обнаружение цифровых шаблонов, включая цветовые полосы.
  • Обнаружение безтекстового листа, включая сопоставление сцен.

  Подробности см. в разделе Обнаружение слейта.

• Обнаружение текстового логотипа: соответствует определенному предварительно определенному тексту с помощью OCR индексатора видео Azure AI. Например, если пользователь создал текстовый логотип: Microsoft, различные варианты внешнего вида слова Microsoft обнаруживаются как логотип Microsoft. Дополнительные сведения см. в разделе "Обнаружение текстового логотипа".

Звуковые модели

• Транскрибирование звука: преобразует речь в текст более чем на 50 языках и позволяет расширениям. Дополнительные сведения см. в статье о поддержке языка Индексатора видео в Azure AI.

• Автоматическое обнаружение языка: определяет доминирующий язык. Дополнительные сведения см. в статье о поддержке языка Индексатора видео в Azure AI. Если язык не удается определить с уверенностью, Индексатор видео Azure предполагает, что речь идет на английском языке.

• Многоязычная идентификация речи и транскрибирование: определяет язык в разных сегментах звука. Отправляет каждый сегмент файла мультимедиа для транскрибирования, а затем объединяет транскрипцию в единый элемент. Дополнительные сведения о транскрибировании см. в разделе "Транскрибирование"

• Закрытый заголовок: создает закрытые субтитры в трех форматах: VTT, TTML, SRT.

• Обработка двух каналов: автоматическое обнаружение отдельных расшифровок и объединение в единую временную шкалу.

• Уменьшение шума: очищает звук телефонии или шумные записи (на основе фильтров Skype).

• Настройка транскрипции (CRIS): обучение пользовательских моделей перевода речи в текст для создания отраслевых транскриптов. Дополнительные сведения см. в разделе "Настройка языковой модели".

• Перечисление говорящих: определяет и понимает, кто говорил какие слова и когда. В одном звуковом файле можно определить 16 говорящих.

• Статистика говорящих: предоставляет статистику для соотношений речи говорящих.

• Модерация текстового содержимого: обнаруживает явный текст в транскрибировании звука.

• Обнаружение эмоций на основе текста: эмоции, такие как радость, печаль, гнев и страх, которые были обнаружены с помощью анализа транскрибирования.

• Перевод: Создает переводы аудио транскрипта на разных языках. Дополнительные сведения см. в статье о поддержке языка Индексатора видео в Azure AI.

• Обнаружение звуковых эффектов: обнаруживает следующие звуковые эффекты в неголосовых сегментах содержимого: тревога или сирена, лай собаки, реакции толпы (приветствия, аплодисменты и освистывание), выстрел или взрыв, смех, звук разбитого стекла и тишина.

  Обнаруженные звуковые события доступны в файле со скрытыми субтитрами. Файл можно скачать с веб-сайта Индексатора видео Azure AI. Дополнительные сведения см. в разделе " Обнаружение звуковых эффектов".

  Примечание.

  Полный набор событий доступен только при выборе расширенного анализа звука при отправке файла в предустановке отправки. По умолчанию обнаруживается только тишина.

Модели аудио и видео (мультиканала)

При индексировании по одному каналу доступны частичные результаты для этих моделей.

• Извлечение ключевых слов: извлекает ключевые слова из речи и визуального текста.
• Извлечение именованных сущностей: извлекает бренды, расположения и людей из речи и визуального текста с помощью обработки естественного языка (NLP).
• Вывод раздела: извлекает разделы на основе различных ключевых слов (т. е. ключевых слов "Фондовая биржа", "Уолл-стрит" создает раздел "Экономика"). В модели используются три разных онтологии (IPTC, Википедия и иерархическая тема индексатора видео). Модель использует транскрипцию (произнесенные слова), содержимое OCR (визуальный текст) и знаменитостей, распознанных на видео с помощью модели распознавания лиц Video Indexer.
• Артефакты: извлекает богатый набор артефактов "следующего уровня сведений" для каждой модели.
• Анализ тональности: определяет положительные, отрицательные и нейтральные тональности из речи и визуального текста.

Как приступить к работе с Индексатором видео в Azure AI?

Узнайте, как приступить к работе с Индексатором видео в Azure AI.

После настройки начните использовать аналитические сведения и ознакомьтесь с другими руководствами.

Соблюдение нормативных требований, конфиденциальность и безопасность

Вы должны соответствовать всем применимым законам в использовании Индексатора видео Azure ИИ, и вы не можете использовать Индексатор видео Azure или любую службу Azure таким образом, чтобы нарушать права других пользователей или что может быть вредно для других.

Перед отправкой видео-изображения в Индексатор видео и видео Azure необходимо иметь все соответствующие и юридические права на использование видео/изображения, включая, где это требуется в соответствии с законом, все необходимые согласия от отдельных лиц (если таковые имеются) в видео/изображении, для использования, обработки и хранения данных в Индексаторе видео Azure и Azure. Некоторые юрисдикции могут предъявлять особые юридические требования к сбору, онлайн-обработке и хранению определенных категорий данных, таких как биометрические данные. Прежде чем использовать Индексатор видео Azure AI и Azure для обработки и хранения любых данных, подлежащих специальным юридическим требованиям, необходимо убедиться, что ваше использование соответствует всем таким юридическим требованиям, которые могут применяться к вам и вашему предполагаемому использованию.

Чтобы узнать о соответствии требованиям, конфиденциальности и безопасности в Индексаторе видео в Azure AI, посетите Центр управления безопасностью Майкрософт. Для обязательств корпорации Майкрософт по конфиденциальности, обработки данных и хранения данных, включая удаление данных, ознакомьтесь с заявлением о конфиденциальности Майкрософт, условиями веб-служб (OST) и надстройкой обработки данных (DPA). Используя индексатор видео Azure AI, вы соглашаетесь соблюдать OST, DPA и Заявление о конфиденциальности.