Поделиться через


Общие сведения об индексаторе видео в Azure AI

Индексатор видео Azure — это облачное приложение, часть служб ИИ Azure, созданная на основе служб ИИ Azure (таких как Face, Translator, Azure AI Vision и speech). Она позволяет извлекать аналитические сведения из видео с помощью видеоиндексатора ИИ и звуковых моделей.

Индексатор видео Azure AI анализирует видео и аудио содержимое, запуская более 30 моделей ИИ для получения глубоких аналитических сведений. Ниже приведена иллюстрация анализа аудио и видео, выполняемого индексатором видео Azure AI в фоновом режиме:

Схема потока индексатора видео Azure AI.

Чтобы приступить к извлечению аналитических сведений с помощью Индексатора видео в Azure AI, ознакомьтесь с разделом о том, как начать работу .

Что можно сделать с индексатором видео Azure AI?

Аналитика Индексатора видео Azure AI может применяться ко многим сценариям:

  • Глубокий поиск. Чтобы улучшить возможности поиска в видеотеке, используйте аналитические сведения, извлеченные из видео. Например, индексирование лиц и произнесенных слов позволяет выполнять поиск моментов в видео, когда человек произносит определенные слова или когда два человека находятся в кадре вместе. Поиск на основе таких аналитических сведений, извлеченных из видео, — полезная функция для информационных агентств, образовательных учреждений, вещательных компаний, владельцев развлекательного содержимого, корпоративных бизнес-приложений и в целом для любой отрасли, где применяются библиотеки видео, по которым нужно выполнять поиск.
  • Создание контента: создание трейлеров, роликов, контента для социальных сетей или новостных клипов на основе аналитики, извлеченной из Индексатора видео Azure AI. Ключевые кадры, маркеры сцен и временные метки появления людей и меток упрощают процесс создания, позволяя легко добраться до нужных частей видео при создании контента.
  • Специальные возможности: хотите ли вы сделать содержимое доступным для людей с ограниченными возможностями или хотите, чтобы содержимое распределялось по разным регионам с помощью разных языков, можно использовать транскрибирование и перевод, предоставляемые Индексатором видео Azure AI на нескольких языках.
  • Монетизация: Индексатор видео Azure AI может помочь повысить ценность видео. Например, отрасли, которые получают доход от рекламы (новостные СМИ, социальные сети и т. д.), могут предоставлять актуальную рекламу, используя извлеченные аналитические сведения в качестве дополнительных сигналов для сервера рекламы.
  • Модерация контента: Используйте текстовые и визуальные модели модерации контента для обеспечения безопасности ваших пользователей от неуместного содержимого и проверки соответствия публикуемого вами контента ценностям вашей организации. Вы можете автоматически блокировать определенные видеоролики или оповещать пользователей о содержимом.
  • Рекомендации. Аналитика видео можно использовать для улучшения взаимодействия с пользователями, подчеркнув соответствующие моменты видео для пользователей. Помечая каждое видео с дополнительными метаданными, вы можете рекомендовать пользователям наиболее релевантные видео и выделить части видео, соответствующие их потребностям.

Функции ИИ для видео/аудио

В следующем списке показаны аналитические сведения, которые можно получить из ваших видеофайлов и аудиофайлов с помощью функции видео-индексации и аудио ИИ Azure (модели).

Примечание.

Учитывая требования к конфиденциальности и нормативным требованиям, некоторые из этих функций ограничены для использования и (или) требуют авторизации для полного использования.

Если не указано иное, модель общедоступна.

Видео модели

  • Обнаружение лиц: обнаружение лиц и групп лиц, отображаемых в видео.

  • Идентификация знаменитостей: определяет более 1 миллиона знаменитостей, таких как мировые лидеры, актеры, художники, спортсмены, исследователи, бизнес и технологические лидеры по всему миру. Данные об этих знаменитостях можно найти также на различных веб-сайтах (например, IMDB и Википедия).

  • Идентификация лиц по учетной записи: проводит обучение модели для конкретной учетной записи. Затем на основе обученной модели он распознает лица в видео. Дополнительные сведения см. в статье "Настройка модели person" на веб-сайте Индексатора видео Azure ИИ и настройка модели person с помощью API индексатора видео Azure.

  • Извлечение эскизов для лиц: определяет наилучшее отображенное лицо в каждой группе лиц (на основе качества, размера и фронтального ракурса) и извлекает его в виде изображения.

  • Оптическое распознавание символов (OCR): извлекает текст из изображений, таких как изображения, уличные знаки и продукты в файлах мультимедиа для создания аналитических сведений.

  • Модерация визуального содержимого: обнаруживает визуальные материалы для взрослых и/или провокационные.

  • Идентификация меток: определяет визуальные объекты и действия, отображаемые.

  • Сегментация сцены: определяет, когда сцена изменяется в видео на основе визуальных подсказок. Сцена изображает одно событие и состоит из ряда последовательных выстрелов, которые семантически связаны.

  • Обнаружение кадра: определяет, когда кадр меняется в видео на основе визуальных подсказок. Кадр — это серия снимков, сделанных одной и той же кинокамерой. Дополнительные сведения см. в разделах "Сцены", "Снимки" и "Ключевые кадры".

  • Обнаружение черных кадров: определяет черные кадры, представленные в видео.

  • Извлечение ключевых кадров: обнаруживает стабильные ключевые кадры в видео.

  • Финальные титры: Определяет начало и конец финальных титров в конце телевизионных шоу и фильмов.

  • Определение типа редакционного кадра: Теги кадров на основе их типа (например, общий план, средний план, крупный план, детальный план, пару, несколько человек, на улице и в помещении, и т. д.). Для получения дополнительной информации см. Определение типа редакционного снимка.

  • Обнаружение наблюдаемых людей: обнаруживает наблюдаемых людей в видео и предоставляет такие сведения, как расположение человека в видеокадре (с использованием ограничивающих прямоугольников), точную метку времени (начало, конец) и уровень уверенности при появлении человека. Для получения дополнительной информации см. в разделе "Отслеживание наблюдаемых людей в видео".

    • Сопоставленный человек: идентифицирует людей, которых заметили на видео, с соответствующими лицами, обнаруженными. Соответствие между наблюдаемыми людьми и лицами содержит уровень уверенности.
    • Обнаруженная одежда: обнаруживает типы одежды людей, появляющихся в видео, и предоставляет информацию, например длинные или короткие рукава, длинные или короткие брюки и юбку или платье. Одежда, обнаруженная на людях, ассоциируется с ними, и точные метки времени (начало, конец) вместе с уровнем достоверности обнаружения предоставляются.
    • Избранная одежда: захватывает изображения избранной одежды, отображаемые в видео. Вы можете улучшить целевую рекламу с помощью аналитических сведений о одежде. Сведения о том, как изображения выбранной одежды ранжируются и как получить аналитику, см. избранная одежда.
  • Обнаружение объектов Определяет уникальные объекты, которые также отслеживаются, чтобы при их возврате в кадр они были распознаны. См. сведения об обнаружении объектов Индексатора видео в Azure AI

  • Обнаружение slate: определяет следующие аналитические сведения о фильме после производства при индексировании видео с помощью расширенного параметра индексирования:

    • Обнаружение clapperboard с извлечением метаданных.
    • Обнаружение цифровых шаблонов, включая цветовые полосы.
    • Обнаружение безтекстового листа, включая сопоставление сцен.

    Подробности см. в разделе Обнаружение слейта.

  • Обнаружение текстового логотипа: соответствует определенному предварительно определенному тексту с помощью OCR индексатора видео Azure AI. Например, если пользователь создал текстовый логотип: Microsoft, различные варианты внешнего вида слова Microsoft обнаруживаются как логотип Microsoft. Дополнительные сведения см. в разделе "Обнаружение текстового логотипа".

Звуковые модели

  • Транскрибирование звука: преобразует речь в текст более чем на 50 языках и позволяет расширениям. Дополнительные сведения см. в статье о поддержке языка Индексатора видео в Azure AI.

  • Автоматическое обнаружение языка: определяет доминирующий язык. Дополнительные сведения см. в статье о поддержке языка Индексатора видео в Azure AI. Если язык не удается определить с уверенностью, Индексатор видео Azure предполагает, что речь идет на английском языке.

  • Многоязычная идентификация речи и транскрибирование: определяет язык в разных сегментах звука. Отправляет каждый сегмент файла мультимедиа для транскрибирования, а затем объединяет транскрипцию в единый элемент. Дополнительные сведения о транскрибировании см. в разделе "Транскрибирование"

  • Закрытый заголовок: создает закрытые субтитры в трех форматах: VTT, TTML, SRT.

  • Обработка двух каналов: автоматическое обнаружение отдельных расшифровок и объединение в единую временную шкалу.

  • Уменьшение шума: очищает звук телефонии или шумные записи (на основе фильтров Skype).

  • Настройка транскрипции (CRIS): обучение пользовательских моделей перевода речи в текст для создания отраслевых транскриптов. Дополнительные сведения см. в разделе "Настройка языковой модели".

  • Перечисление говорящих: определяет и понимает, кто говорил какие слова и когда. В одном звуковом файле можно определить 16 говорящих.

  • Статистика говорящих: предоставляет статистику для соотношений речи говорящих.

  • Модерация текстового содержимого: обнаруживает явный текст в транскрибировании звука.

  • Обнаружение эмоций на основе текста: эмоции, такие как радость, печаль, гнев и страх, которые были обнаружены с помощью анализа транскрибирования.

  • Перевод: Создает переводы аудио транскрипта на разных языках. Дополнительные сведения см. в статье о поддержке языка Индексатора видео в Azure AI.

  • Обнаружение звуковых эффектов: обнаруживает следующие звуковые эффекты в неголосовых сегментах содержимого: тревога или сирена, лай собаки, реакции толпы (приветствия, аплодисменты и освистывание), выстрел или взрыв, смех, звук разбитого стекла и тишина.

    Обнаруженные звуковые события доступны в файле со скрытыми субтитрами. Файл можно скачать с веб-сайта Индексатора видео Azure AI. Дополнительные сведения см. в разделе " Обнаружение звуковых эффектов".

    Примечание.

    Полный набор событий доступен только при выборе расширенного анализа звука при отправке файла в предустановке отправки. По умолчанию обнаруживается только тишина.

Модели аудио и видео (мультиканала)

При индексировании по одному каналу доступны частичные результаты для этих моделей.

  • Извлечение ключевых слов: извлекает ключевые слова из речи и визуального текста.
  • Извлечение именованных сущностей: извлекает бренды, расположения и людей из речи и визуального текста с помощью обработки естественного языка (NLP).
  • Вывод раздела: извлекает разделы на основе различных ключевых слов (т. е. ключевых слов "Фондовая биржа", "Уолл-стрит" создает раздел "Экономика"). В модели используются три разных онтологии (IPTC, Википедия и иерархическая тема индексатора видео). Модель использует транскрипцию (произнесенные слова), содержимое OCR (визуальный текст) и знаменитостей, распознанных на видео с помощью модели распознавания лиц Video Indexer.
  • Артефакты: извлекает богатый набор артефактов "следующего уровня сведений" для каждой модели.
  • Анализ тональности: определяет положительные, отрицательные и нейтральные тональности из речи и визуального текста.

Как приступить к работе с Индексатором видео в Azure AI?

Узнайте, как приступить к работе с Индексатором видео в Azure AI.

После настройки начните использовать аналитические сведения и ознакомьтесь с другими руководствами.

Соблюдение нормативных требований, конфиденциальность и безопасность

Примечание.

11 июня 2020 года Корпорация Майкрософт объявила о том, что она не будет продавать технологии распознавания лиц сотрудникам полиции в Соединенных Штатах до принятия строгого регулирования, основываясь на правах человека. Таким образом, клиенты не могут использовать функции распознавания лиц или функциональные возможности, включенные в службы ИИ Azure, такие как Face или Индексатор видео, если клиенты являются департаментом полиции США или разрешают использование таких услуг этим департаментом.

Примечание.

Доступ к функциям идентификации лиц, настройки и распознавания знаменитостей ограничен на основе критериев соответствия и использования для поддержки наших принципов ответственного искусственного интеллекта. Функции идентификации лиц, настройки и распознавания знаменитостей доступны только управляемым клиентам и партнерам Майкрософт. Используйте форму подачи заявки на распознавание лиц для получения доступа.

Вы должны соответствовать всем применимым законам в использовании Индексатора видео Azure ИИ, и вы не можете использовать Индексатор видео Azure или любую службу Azure таким образом, чтобы нарушать права других пользователей или что может быть вредно для других.

Перед отправкой видео-изображения в Индексатор видео и видео Azure необходимо иметь все соответствующие и юридические права на использование видео/изображения, включая, где это требуется в соответствии с законом, все необходимые согласия от отдельных лиц (если таковые имеются) в видео/изображении, для использования, обработки и хранения данных в Индексаторе видео Azure и Azure. Некоторые юрисдикции могут предъявлять особые юридические требования к сбору, онлайн-обработке и хранению определенных категорий данных, таких как биометрические данные. Прежде чем использовать Индексатор видео Azure AI и Azure для обработки и хранения любых данных, подлежащих специальным юридическим требованиям, необходимо убедиться, что ваше использование соответствует всем таким юридическим требованиям, которые могут применяться к вам и вашему предполагаемому использованию.

Чтобы узнать о соответствии требованиям, конфиденциальности и безопасности в Индексаторе видео в Azure AI, посетите Центр управления безопасностью Майкрософт. Для обязательств корпорации Майкрософт по конфиденциальности, обработки данных и хранения данных, включая удаление данных, ознакомьтесь с заявлением о конфиденциальности Майкрософт, условиями веб-служб (OST) и надстройкой обработки данных (DPA). Используя индексатор видео Azure AI, вы соглашаетесь соблюдать OST, DPA и Заявление о конфиденциальности.