Примечание
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Индексатор видео Azure — это облачное приложение, часть служб ИИ Azure, созданная на основе служб ИИ Azure (таких как Face, Translator, Azure AI Vision и speech). Она позволяет извлекать аналитические сведения из видео с помощью видеоиндексатора ИИ и звуковых моделей.
Индексатор видео Azure AI анализирует видео и аудио содержимое, запуская более 30 моделей ИИ для получения глубоких аналитических сведений. Ниже приведена иллюстрация анализа аудио и видео, выполняемого индексатором видео Azure AI в фоновом режиме:
Чтобы приступить к извлечению аналитических сведений с помощью Индексатора видео в Azure AI, ознакомьтесь с разделом о том, как начать работу .
Что можно сделать с индексатором видео Azure AI?
Аналитика Индексатора видео Azure AI может применяться ко многим сценариям:
- Глубокий поиск. Чтобы улучшить возможности поиска в видеотеке, используйте аналитические сведения, извлеченные из видео. Например, индексирование лиц и произнесенных слов позволяет выполнять поиск моментов в видео, когда человек произносит определенные слова или когда два человека находятся в кадре вместе. Поиск на основе таких аналитических сведений, извлеченных из видео, — полезная функция для информационных агентств, образовательных учреждений, вещательных компаний, владельцев развлекательного содержимого, корпоративных бизнес-приложений и в целом для любой отрасли, где применяются библиотеки видео, по которым нужно выполнять поиск.
- Создание контента: создание трейлеров, роликов, контента для социальных сетей или новостных клипов на основе аналитики, извлеченной из Индексатора видео Azure AI. Ключевые кадры, маркеры сцен и временные метки появления людей и меток упрощают процесс создания, позволяя легко добраться до нужных частей видео при создании контента.
- Специальные возможности: хотите ли вы сделать содержимое доступным для людей с ограниченными возможностями или хотите, чтобы содержимое распределялось по разным регионам с помощью разных языков, можно использовать транскрибирование и перевод, предоставляемые Индексатором видео Azure AI на нескольких языках.
- Монетизация: Индексатор видео Azure AI может помочь повысить ценность видео. Например, отрасли, которые получают доход от рекламы (новостные СМИ, социальные сети и т. д.), могут предоставлять актуальную рекламу, используя извлеченные аналитические сведения в качестве дополнительных сигналов для сервера рекламы.
- Модерация контента: Используйте текстовые и визуальные модели модерации контента для обеспечения безопасности ваших пользователей от неуместного содержимого и проверки соответствия публикуемого вами контента ценностям вашей организации. Вы можете автоматически блокировать определенные видеоролики или оповещать пользователей о содержимом.
- Рекомендации. Аналитика видео можно использовать для улучшения взаимодействия с пользователями, подчеркнув соответствующие моменты видео для пользователей. Помечая каждое видео с дополнительными метаданными, вы можете рекомендовать пользователям наиболее релевантные видео и выделить части видео, соответствующие их потребностям.
Функции ИИ для видео/аудио
В следующем списке показаны аналитические сведения, которые можно получить из ваших видеофайлов и аудиофайлов с помощью функции видео-индексации и аудио ИИ Azure (модели).
Примечание.
Учитывая требования к конфиденциальности и нормативным требованиям, некоторые из этих функций ограничены для использования и (или) требуют авторизации для полного использования.
Если не указано иное, модель общедоступна.
Видео модели
Обнаружение лиц: обнаружение лиц и групп лиц, отображаемых в видео.
Идентификация знаменитостей: определяет более 1 миллиона знаменитостей, таких как мировые лидеры, актеры, художники, спортсмены, исследователи, бизнес и технологические лидеры по всему миру. Данные об этих знаменитостях можно найти также на различных веб-сайтах (например, IMDB и Википедия).
Идентификация лиц по учетной записи: проводит обучение модели для конкретной учетной записи. Затем на основе обученной модели он распознает лица в видео. Дополнительные сведения см. в статье "Настройка модели person" на веб-сайте Индексатора видео Azure ИИ и настройка модели person с помощью API индексатора видео Azure.
Извлечение эскизов для лиц: определяет наилучшее отображенное лицо в каждой группе лиц (на основе качества, размера и фронтального ракурса) и извлекает его в виде изображения.
Оптическое распознавание символов (OCR): извлекает текст из изображений, таких как изображения, уличные знаки и продукты в файлах мультимедиа для создания аналитических сведений.
Модерация визуального содержимого: обнаруживает визуальные материалы для взрослых и/или провокационные.
Идентификация меток: определяет визуальные объекты и действия, отображаемые.
Сегментация сцены: определяет, когда сцена изменяется в видео на основе визуальных подсказок. Сцена изображает одно событие и состоит из ряда последовательных выстрелов, которые семантически связаны.
Обнаружение кадра: определяет, когда кадр меняется в видео на основе визуальных подсказок. Кадр — это серия снимков, сделанных одной и той же кинокамерой. Дополнительные сведения см. в разделах "Сцены", "Снимки" и "Ключевые кадры".
Обнаружение черных кадров: определяет черные кадры, представленные в видео.
Извлечение ключевых кадров: обнаруживает стабильные ключевые кадры в видео.
Финальные титры: Определяет начало и конец финальных титров в конце телевизионных шоу и фильмов.
Определение типа редакционного кадра: Теги кадров на основе их типа (например, общий план, средний план, крупный план, детальный план, пару, несколько человек, на улице и в помещении, и т. д.). Для получения дополнительной информации см. Определение типа редакционного снимка.
Обнаружение наблюдаемых людей: обнаруживает наблюдаемых людей в видео и предоставляет такие сведения, как расположение человека в видеокадре (с использованием ограничивающих прямоугольников), точную метку времени (начало, конец) и уровень уверенности при появлении человека. Для получения дополнительной информации см. в разделе "Отслеживание наблюдаемых людей в видео".
- Сопоставленный человек: идентифицирует людей, которых заметили на видео, с соответствующими лицами, обнаруженными. Соответствие между наблюдаемыми людьми и лицами содержит уровень уверенности.
- Обнаруженная одежда: обнаруживает типы одежды людей, появляющихся в видео, и предоставляет информацию, например длинные или короткие рукава, длинные или короткие брюки и юбку или платье. Одежда, обнаруженная на людях, ассоциируется с ними, и точные метки времени (начало, конец) вместе с уровнем достоверности обнаружения предоставляются.
- Избранная одежда: захватывает изображения избранной одежды, отображаемые в видео. Вы можете улучшить целевую рекламу с помощью аналитических сведений о одежде. Сведения о том, как изображения выбранной одежды ранжируются и как получить аналитику, см. избранная одежда.
Обнаружение объектов Определяет уникальные объекты, которые также отслеживаются, чтобы при их возврате в кадр они были распознаны. См. сведения об обнаружении объектов Индексатора видео в Azure AI
Обнаружение slate: определяет следующие аналитические сведения о фильме после производства при индексировании видео с помощью расширенного параметра индексирования:
- Обнаружение clapperboard с извлечением метаданных.
- Обнаружение цифровых шаблонов, включая цветовые полосы.
- Обнаружение безтекстового листа, включая сопоставление сцен.
Подробности см. в разделе Обнаружение слейта.
Обнаружение текстового логотипа: соответствует определенному предварительно определенному тексту с помощью OCR индексатора видео Azure AI. Например, если пользователь создал текстовый логотип:
Microsoft
, различные варианты внешнего вида словаMicrosoft
обнаруживаются как логотипMicrosoft
. Дополнительные сведения см. в разделе "Обнаружение текстового логотипа".
Звуковые модели
Транскрибирование звука: преобразует речь в текст более чем на 50 языках и позволяет расширениям. Дополнительные сведения см. в статье о поддержке языка Индексатора видео в Azure AI.
Автоматическое обнаружение языка: определяет доминирующий язык. Дополнительные сведения см. в статье о поддержке языка Индексатора видео в Azure AI. Если язык не удается определить с уверенностью, Индексатор видео Azure предполагает, что речь идет на английском языке.
Многоязычная идентификация речи и транскрибирование: определяет язык в разных сегментах звука. Отправляет каждый сегмент файла мультимедиа для транскрибирования, а затем объединяет транскрипцию в единый элемент. Дополнительные сведения о транскрибировании см. в разделе "Транскрибирование"
Закрытый заголовок: создает закрытые субтитры в трех форматах: VTT, TTML, SRT.
Обработка двух каналов: автоматическое обнаружение отдельных расшифровок и объединение в единую временную шкалу.
Уменьшение шума: очищает звук телефонии или шумные записи (на основе фильтров Skype).
Настройка транскрипции (CRIS): обучение пользовательских моделей перевода речи в текст для создания отраслевых транскриптов. Дополнительные сведения см. в разделе "Настройка языковой модели".
Перечисление говорящих: определяет и понимает, кто говорил какие слова и когда. В одном звуковом файле можно определить 16 говорящих.
Статистика говорящих: предоставляет статистику для соотношений речи говорящих.
Модерация текстового содержимого: обнаруживает явный текст в транскрибировании звука.
Обнаружение эмоций на основе текста: эмоции, такие как радость, печаль, гнев и страх, которые были обнаружены с помощью анализа транскрибирования.
Перевод: Создает переводы аудио транскрипта на разных языках. Дополнительные сведения см. в статье о поддержке языка Индексатора видео в Azure AI.
Обнаружение звуковых эффектов: обнаруживает следующие звуковые эффекты в неголосовых сегментах содержимого: тревога или сирена, лай собаки, реакции толпы (приветствия, аплодисменты и освистывание), выстрел или взрыв, смех, звук разбитого стекла и тишина.
Обнаруженные звуковые события доступны в файле со скрытыми субтитрами. Файл можно скачать с веб-сайта Индексатора видео Azure AI. Дополнительные сведения см. в разделе " Обнаружение звуковых эффектов".
Примечание.
Полный набор событий доступен только при выборе расширенного анализа звука при отправке файла в предустановке отправки. По умолчанию обнаруживается только тишина.
Модели аудио и видео (мультиканала)
При индексировании по одному каналу доступны частичные результаты для этих моделей.
- Извлечение ключевых слов: извлекает ключевые слова из речи и визуального текста.
- Извлечение именованных сущностей: извлекает бренды, расположения и людей из речи и визуального текста с помощью обработки естественного языка (NLP).
- Вывод раздела: извлекает разделы на основе различных ключевых слов (т. е. ключевых слов "Фондовая биржа", "Уолл-стрит" создает раздел "Экономика"). В модели используются три разных онтологии (IPTC, Википедия и иерархическая тема индексатора видео). Модель использует транскрипцию (произнесенные слова), содержимое OCR (визуальный текст) и знаменитостей, распознанных на видео с помощью модели распознавания лиц Video Indexer.
- Артефакты: извлекает богатый набор артефактов "следующего уровня сведений" для каждой модели.
- Анализ тональности: определяет положительные, отрицательные и нейтральные тональности из речи и визуального текста.
Как приступить к работе с Индексатором видео в Azure AI?
Узнайте, как приступить к работе с Индексатором видео в Azure AI.
После настройки начните использовать аналитические сведения и ознакомьтесь с другими руководствами.
Соблюдение нормативных требований, конфиденциальность и безопасность
Примечание.
11 июня 2020 года Корпорация Майкрософт объявила о том, что она не будет продавать технологии распознавания лиц сотрудникам полиции в Соединенных Штатах до принятия строгого регулирования, основываясь на правах человека. Таким образом, клиенты не могут использовать функции распознавания лиц или функциональные возможности, включенные в службы ИИ Azure, такие как Face или Индексатор видео, если клиенты являются департаментом полиции США или разрешают использование таких услуг этим департаментом.
Примечание.
Доступ к функциям идентификации лиц, настройки и распознавания знаменитостей ограничен на основе критериев соответствия и использования для поддержки наших принципов ответственного искусственного интеллекта. Функции идентификации лиц, настройки и распознавания знаменитостей доступны только управляемым клиентам и партнерам Майкрософт. Используйте форму подачи заявки на распознавание лиц для получения доступа.
Вы должны соответствовать всем применимым законам в использовании Индексатора видео Azure ИИ, и вы не можете использовать Индексатор видео Azure или любую службу Azure таким образом, чтобы нарушать права других пользователей или что может быть вредно для других.
Перед отправкой видео-изображения в Индексатор видео и видео Azure необходимо иметь все соответствующие и юридические права на использование видео/изображения, включая, где это требуется в соответствии с законом, все необходимые согласия от отдельных лиц (если таковые имеются) в видео/изображении, для использования, обработки и хранения данных в Индексаторе видео Azure и Azure. Некоторые юрисдикции могут предъявлять особые юридические требования к сбору, онлайн-обработке и хранению определенных категорий данных, таких как биометрические данные. Прежде чем использовать Индексатор видео Azure AI и Azure для обработки и хранения любых данных, подлежащих специальным юридическим требованиям, необходимо убедиться, что ваше использование соответствует всем таким юридическим требованиям, которые могут применяться к вам и вашему предполагаемому использованию.
Чтобы узнать о соответствии требованиям, конфиденциальности и безопасности в Индексаторе видео в Azure AI, посетите Центр управления безопасностью Майкрософт. Для обязательств корпорации Майкрософт по конфиденциальности, обработки данных и хранения данных, включая удаление данных, ознакомьтесь с заявлением о конфиденциальности Майкрософт, условиями веб-служб (OST) и надстройкой обработки данных (DPA). Используя индексатор видео Azure AI, вы соглашаетесь соблюдать OST, DPA и Заявление о конфиденциальности.