Общие сведения об индексаторе видео в Azure AI

Индексатор видео Azure — это комплексное решение искусственного интеллекта, позволяющее организациям извлекать подробные сведения из видео (трансляции и отправки) и аудиоконтента. Он использует расширенные модели машинного обучения и создания ИИ и поддерживает широкий спектр возможностей, включая транскрибирование, перевод, обнаружение объектов и сводку видео. Для обеспечения гибкости Video Indexer можно использовать в облаке или развернуть на периферийных устройствах с помощью Azure Arc, чтобы выбрать модель развертывания, которая наилучшим образом соответствует вашим операционным и нормативным требованиям.

Индексатор видео предлагает два варианта использования: в качестве расширения Azure Arc или в виде облачного веб-приложения. Эти предложения не идентичны. Они отличаются возможностями, поддерживаемыми источниками видео и доступными моделями ИИ.

Продолжайте читать, чтобы найти вариант, который лучше всего соответствует вашим потребностям.

Зеленые коробки представляют функции, доступные в Индексаторе видео, который использует Azure Arc.

Индексатор видео, включенный Azure Arc

Индексатор видео Azure AI, с поддержкой Arc — это служба с поддержкой расширения Azure Arc, которая выполняет анализ видео и аудио и генеративный ИИ на пограничных устройствах. Эта модель гибридного развертывания расширяет возможности VI в пограничных средах через кластеры Kubernetes с поддержкой Azure Arc. Решение было проверено в локальной среде Azure, но совместимо с любой инфраструктурой Kubernetes. Он поддерживает как отправленные, так и потоковые видеопотоки, что позволяет выполнять анализ в режиме реального времени непосредственно в источнике данных. И вы можете создать расширение Arc, которое поддерживает оба типа видео или только один. Помните, что доступные аналитические сведения искусственного интеллекта зависят от выбранного типа видео. Эта модель особенно подходит для отраслей с строгими требованиями к месту расположения данных или потребностями с низкой задержкой.

Потоковая трансляция видео

Позволяет извлекать аналитические сведения в реальном времени из видеотрансляций, позволяя настраивать анализ в соответствии с вашими потребностями. Вы можете просматривать динамическую аналитику непосредственно на вершине видеопотока, используя ограничивающие прямоугольники с выделением обнаруженных объектов. Вы также можете сохранять потоки и аналитические сведения в виде файлов. Вы можете отправлять и индексировать файлы внешних носителей. С помощью Индексатора видео Azure ai можно создавать краткие сводки для сегментов записанных видеоматериалов, помогая быстро догнать ключевые события без просмотра всего видео.

Чтобы начать извлечение аналитических сведений с помощью Индексатора видео Azure с поддержкой Arc, зарегистрируйтесь в Application for Azure AI Video Indexer с поддержкой Arc. Дополнительные сведения см. в статье "Что такое индексатор видео Azure AI, включенный Arc?".

Загруженные видео

Позволяет анализировать видео и звуковое содержимое и извлекать значимые аналитические сведения. В ней используются многомодальные модели искусственного интеллекта, и она может создавать текстовые сводки видеоконтента, повышая удобство обнаружения.

Индексатор видео на основе облака

Индексатор видео Azure — это облачное приложение, которое входит в состав служб ИИ Azure. Он основан на службах ИИ Azure, таких как Face, Translator, Azure AI Vision и Speech. С помощью Индексатора видео Azure AI вы можете извлечь аналитические сведения из видео с помощью своих видео и звуковых моделей.

Azure AI Video Indexer анализирует содержимое видео и аудио, выполняя более 30 AI-моделей. Он генерирует глубокие аналитические данные. На следующем рисунке показан анализ аудио и видео, который индексатор видео Azure AI выполняет в фоновом режиме:

Чтобы приступить к извлечению аналитических сведений с помощью Индексатора видео в Azure AI, ознакомьтесь с разделом о том, как начать работу .

Что можно сделать с индексатором видео Azure AI?

Вы можете использовать как Индексатор видео, поддерживаемый Azure Arc, так и облачный индексатор видео в различных сценариях. В следующих разделах описаны сценарии для каждого варианта.

Индексатор видео, включенный Azure Arc

Прямые видеотрансляции

Вы можете интегрировать центр видеоанализа на основе ИИ с потоковой передачей видео с камеры для использования обнаружения на основе искусственного интеллекта в разных местах. Эта служба анализирует живые и записанные видео, превращая необработанные кадры в полезные аналитические сведения.

• Розничная торговля — оптимизация макетов магазинов и улучшение взаимодействия с клиентами и безопасностью. С помощью анализа в режиме реального времени можно отслеживать количество клиентов в линиях регистрации в режиме реального времени, помогая розничным продавцам немедленно действовать для оптимизации персонала и сокращения времени ожидания.
• Производство — обеспечение контроля качества и безопасности работников с помощью видеоанализа. Например, работники, которые не носят защитное снаряжение и которым требуется обнаружение критических событий в режиме реального времени, а также поиск конкретных моментов в видеопотоках.
• Современная безопасность — обнаружение и выявление проблем с безопасностью и безопасностью перед тем, как они вызывают риск.

Загруженные видео

• Управление данными — перенос искусственного интеллекта в содержимое вместо наоборот. Используйте индексатор видео Azure AI с поддержкой Arc, если вы не можете переместить индексированное содержимое из локальной среды в облако из-за:
  • Регламент.
  • Решения по архитектуре.
  • Хранилище данных слишком большое, и его перенос потребует значительных усилий.
• Локальный рабочий процесс — процесс индексирования является частью локального рабочего процесса, и вы хотите снизить задержку в течение индексирования, влияющую на поток.
• Предварительная индексация — перед отправкой содержимого в облако необходимо индексировать. Чтобы создать ясность, вы можете предустановить локальный видео- или аудиоархиватор, а затем передать его только для стандартного или расширенного индексирования в облаке.

Индексатор видео на основе облака

Вы можете применить аналитические сведения индексатора видео Azure к многим сценариям:

• Глубокий поиск. Чтобы улучшить возможности поиска в видеотеке, используйте аналитические сведения, извлеченные из видео. Например, индексирование лиц и произнесенных слов позволяет выполнять поиск моментов в видео, когда человек произносит определенные слова или когда два человека находятся в кадре вместе. Поиск на основе таких аналитических сведений, извлеченных из видео, — полезная функция для информационных агентств, образовательных учреждений, вещательных компаний, владельцев развлекательного содержимого, корпоративных бизнес-приложений и в целом для любой отрасли, где применяются библиотеки видео, по которым нужно выполнять поиск.
• Создание контента: создание трейлеров, роликов, контента для социальных сетей или новостных клипов на основе аналитики, извлеченной из Индексатора видео Azure AI. Ключевые кадры, маркеры сцен и временные метки появления людей и меток упрощают процесс создания, позволяя легко добраться до нужных частей видео при создании контента.
• Специальные возможности: хотите ли вы сделать содержимое доступным для людей с ограниченными возможностями или хотите, чтобы содержимое распределялось по разным регионам с помощью разных языков, можно использовать транскрибирование и перевод, предоставляемые Индексатором видео Azure AI на нескольких языках.
• Монетизация: Индексатор видео Azure AI может помочь повысить ценность видео. Например, отрасли, которые полагаются на доход от рекламы (новости, социальные медиа и т. д.), могут доставлять соответствующие объявления с помощью извлеченных аналитических сведений в качестве других сигналов на рекламный сервер.
• Модерация контента: Используйте текстовые и визуальные модели модерации контента для обеспечения безопасности ваших пользователей от неуместного содержимого и проверки соответствия публикуемого вами контента ценностям вашей организации. Вы можете автоматически блокировать определенные видеоролики или оповещать пользователей о содержимом.
• Рекомендации. Аналитика видео можно использовать для улучшения взаимодействия с пользователями, подчеркнув соответствующие моменты видео для пользователей. Помечая каждое видео с дополнительными метаданными, вы можете рекомендовать пользователям наиболее релевантные видео и выделить части видео, соответствующие их потребностям.

Функции ИИ

Вы можете использовать различные функции ИИ (модели) для извлечения аналитических сведений из видео и аудиофайлов. В следующих разделах описываются функции искусственного интеллекта, доступные в каждом варианте.

Индексатор видео, включенный Azure Arc

Индексатор видео Azure AI, включенный Arc, поддерживает следующие предустановки индексирования для загруженных видеофайлов:

Для потоков видеотрансляции можно создать собственные предустановки, которые включают:

• Первичные обнаружения (люди, транспортные средства)
• Настраиваемое понимание ИИ — создание нового распознавания объектов через естественный язык или изображение. Дополнительные сведения см. в разделе (ссылка на новую страницу).

Индексатор видео на основе облака

В следующем списке показаны аналитические сведения, которые можно получить из видеофайлов и аудиофайлов с помощью видео-индексатора Azure AI и функций аудио ИИ (моделей).

Если не указано иное, модель общедоступна.

Видео модели

• Обнаружение лиц: обнаружение лиц и групп лиц, отображаемых в видео.

• Идентификация знаменитостей: определяет более 1 миллиона знаменитостей, таких как мировые лидеры, актеры, художники, спортсмены, исследователи, бизнес и технологические лидеры по всему миру. Вы можете найти данные об этих знаменитостях на различных веб-сайтах, таких как IMDB и Википедия.

• Идентификация лиц по учетной записи: проводит обучение модели для конкретной учетной записи. Затем на основе обученной модели он распознает лица в видео. Дополнительные сведения см. в статье "Настройка модели person" на веб-сайте Индексатора видео Azure ИИ и настройка модели person с помощью API индексатора видео Azure.

• Извлечение эскизов для лиц: определяет лучшее захваченное лицо в каждой группе лиц на основе качества, размера и передней позиции, а также извлекает его в качестве ресурса изображения.

• Оптическое распознавание символов (OCR): извлекает текст из изображений, таких как изображения, уличные знаки и продукты в файлах мультимедиа для создания аналитических сведений.

• Модерация визуального содержимого: обнаруживает визуальные элементы для взрослых и откровенные изображения.

• Идентификация меток: определяет визуальные объекты и действия, отображаемые.

• Сегментация сцены: определяет, когда сцена изменяется в видео на основе визуальных подсказок. Сцена изображает одно событие и состоит из ряда последовательных выстрелов, которые семантически связаны.

• Обнаружение кадра: определяет, когда кадр меняется в видео на основе визуальных подсказок. Кадр — это серия снимков, сделанных одной и той же кинокамерой. Дополнительные сведения см. в разделах "Сцены", "Снимки" и "Ключевые кадры".

• Обнаружение черных кадров: определяет черные кадры, представленные в видео.

• Извлечение ключевых кадров: обнаруживает стабильные ключевые кадры в видео.

• Финальные титры: Определяет начало и конец финальных титров в конце телевизионных шоу и фильмов.

• Обнаружение типа редакционного кадра: Метки кадров на основе их типа, таких как широкий кадр, средний кадр, крупный план, очень крупный план, два кадра, несколько человек, на открытом воздухе и в помещении. Для получения дополнительной информации см. Определение типа редакционного снимка.

• Обнаружение наблюдаемых людей: обнаруживает людей в видео и предоставляет информацию, такую как расположение человека в кадре с помощью рамок, а также точную метку времени с началом, окончанием и уровнем уверенности в появлении человека. Для получения дополнительной информации см. в разделе "Отслеживание наблюдаемых людей в видео".

  • Сопоставленный человек: идентифицирует людей, которых заметили на видео, с соответствующими лицами, обнаруженными. Соответствие между наблюдаемыми людьми и лицами содержит уровень уверенности.
  • Обнаруженная одежда: обнаруживает типы одежды людей, появляющихся в видео, и предоставляет информацию, например длинные или короткие рукава, длинные или короткие брюки, а также юбка или платье. Обнаруженная одежда связана с людьми, одетыми в нее, и точной меткой времени с началом, окончанием и уровнем достоверности для обнаружения.
  • Избранная одежда: захватывает изображения избранной одежды, отображаемые в видео. Вы можете улучшить целевую рекламу с помощью аналитических сведений о одежде. Сведения о том, как изображения выбранной одежды ранжируются и как получить аналитику, см. избранная одежда.

• Обнаружение объектов: выявляет уникальные объекты, которые также отслеживаются, чтобы при возвращении в кадр они были распознаны. См. сведения об обнаружении объектов Индексатора видео в Azure AI.

• Обнаружение slate: определяет следующие аналитические сведения о фильме после производства при индексировании видео с помощью расширенного параметра индексирования:

  • Обнаружение clapperboard с извлечением метаданных.
  • Обнаружение цифровых шаблонов, включая цветовые полосы.
  • Обнаружение безтекстового листа, включая сопоставление сцен.

  Подробности см. в разделе Обнаружение слейта.

• Обнаружение текстового логотипа: соответствует определенному предварительно определенному тексту с помощью OCR индексатора видео Azure AI. Например, если пользователь создал текстовый логотип: Microsoft, различные варианты внешнего вида слова Microsoft обнаруживаются как логотип Microsoft. Дополнительные сведения см. в разделе "Обнаружение текстового логотипа".

Звуковые модели

• Транскрибирование звука: преобразует речь в текст на более чем 50 языках и поддерживает расширения. Дополнительные сведения см. в статье о поддержке языка Индексатора видео в Azure AI.

• Автоматическое обнаружение языка: определяет доминирующий язык. Дополнительные сведения см. в статье о поддержке языка Индексатора видео в Azure AI. Если язык не удается определить с уверенностью, Индексатор видео Azure предполагает, что речь идет на английском языке.

• Многоязычная идентификация речи и транскрибирование: определяет язык речи в разных сегментах звука. Он отправляет каждый сегмент медиафайла для транскрипции, а затем объединяет транскрипции в одну единую транскрипцию. Дополнительные сведения о транскрибировании см. в разделе "Транскрибирование".

• Закрытый заголовок: создает закрытые субтитры в трех форматах: VTT, TTML и SRT.

• Обработка двух каналов: автоопределяет отдельные расшифровки и объединяет их в одну временную шкалу.

• Уменьшение шума: очищает звук телефонии или шумные записи (на основе фильтров Skype).

• Настройка транскрибирования (CRIS): обучает пользовательские модели преобразования речи в текст для создания транскриптов, специфичных для отрасли. Дополнительные сведения см. в разделе "Настройка языковой модели".

• Перечисление говорящих: определяет и понимает, кто говорил какие слова и когда. Шестнадцать динамиков можно обнаружить в одном звуковом файле.

• Статистика говорящих: предоставляет статистику для соотношений речи говорящих.

• Модерация текстового содержимого: обнаруживает явный текст в транскрибировании звука.

• Обнаружение эмоций на основе текста: обнаруживает такие эмоции, как радость, печаль, гнев и страх через анализ транскрибирования.

• Перевод: Создает переводы аудио транскрипта на разных языках. Дополнительные сведения см. в статье о поддержке языка Индексатора видео в Azure AI.

• Обнаружение звуковых эффектов: обнаруживает следующие звуковые эффекты в неголосовых сегментах содержимого: тревога или сирена, лай собаки, реакции толпы (приветствия, аплодисменты и освистывание), выстрел или взрыв, смех, звук разбитого стекла и тишина.

  Обнаруженные звуковые события доступны в файле со скрытыми субтитрами. Файл можно скачать на веб-сайте Azure AI Video Indexer. Дополнительные сведения см. в разделе " Обнаружение звуковых эффектов".

  Примечание.

  Полный набор событий доступен только при выборе расширенного анализа звука при отправке файла в предустановке отправки. По умолчанию обнаруживается только тишина.

Модели аудио и видео (многоканальные модули)

При индексировании по одному каналу вы получаете частичные результаты для этих моделей.

• Извлечение ключевых слов: извлекает ключевые слова из речи и визуального текста.
• Извлечение именованных сущностей: извлекает бренды, расположения и людей из речи и визуального текста с помощью обработки естественного языка (NLP).
• Вывод раздела: извлекает разделы на основе различных ключевых слов (например, ключевые слова "Фондовая биржа" и "Уолл-стрит" создают раздел "Экономика"). В модели используются три разных онтологии (IPTC, Википедия и иерархическая тема индексатора видео). В модели используются транскрибирование (произнесенные слова), содержимое OCR (визуальный текст) и знаменитости, распознанные в видео с помощью модели распознавания лиц индексатора видео.
• Артефакты: Извлекает богатый набор артефактов более высокого уровня для каждой модели.
• Анализ тональности: определяет положительные, отрицательные и нейтральные тональности из речи и визуального текста.

Как приступить к работе с Индексатором видео в Azure AI?

Узнайте, как приступить к работе с Индексатором видео Azure AI, включенным Azure Arc.

Узнайте, как приступить к работе с Индексатором видео в Azure AI.

После настройки службы начните использовать аналитические сведения и ознакомьтесь с другими руководствами.

Соблюдение нормативных требований, конфиденциальность и безопасность

Вы должны соблюдать все применимые законы при использовании Индексатора видео Azure. Вы не можете использовать Индексатор видео Azure или любую службу Azure, которая нарушает права других пользователей или может быть вредной для других пользователей.

Перед отправкой видео или изображения в Индексатор видео Azure AI необходимо иметь все соответствующие и юридические права для использования видео или изображения. В соответствии с законом необходимо иметь все необходимые согласия от отдельных лиц (если таковые имеются) в видео или изображении для использования, обработки и хранения своих данных в Индексаторе видео Azure и Azure. Некоторые юрисдикции могут предъявлять особые юридические требования к сбору, онлайн-обработке и хранению определенных категорий данных, таких как биометрические данные. Прежде чем использовать Индексатор видео Azure ИИ и Azure для обработки и хранения любых данных, подлежащих специальным юридическим требованиям, необходимо убедиться, что ваше использование соответствует всем таким юридическим требованиям, которые могут применяться к вам и вашему целевому использованию.

Чтобы узнать о соответствии, конфиденциальности и безопасности в Индексаторе видео в Azure AI, посетите Центр управления безопасностью Майкрософт. Для обязательств корпорации Майкрософт по конфиденциальности, обработки данных и хранения данных, включая удаление данных, ознакомьтесь с заявлением о конфиденциальности Майкрософт, условиями веб-служб (OST) и надстройкой обработки данных (DPA). Используя индексатор видео Azure AI, вы соглашаетесь соблюдать OST, DPA и Заявление о конфиденциальности.