Создание сводки событий для кадров камеры — предварительная версия

Применяется к: Azure AI Video Indexer enabled by Azure Arc

Индексатор видео Azure AI предлагает краткие сводки для до шести часов записанных видеоматериалов с живых камер. Сводка состоит из двух частей. Первая часть — это общий обзор действий в видео. Вторая часть — это коллекция выделений, которые специально определяют аномальные события и события, запрошенные в поле "Фокус на", включая их метки времени и диапазоны.

Сводка поможет вам найти наиболее заметные события в видео без необходимости смотреть все видео. Это помогает сэкономить время, обрабатывая длинные видео и предоставляя вам их краткое содержание в коротком формате.

Чтобы определить важные необычные события в видео, добавьте запрос "Фокус на" с описанием типа интересующих вас событий, таких как "насильственное поведение". Поле описания камеры предоставляет более контекстную информацию, которая может сделать сводку более точной. Например, указание расположения камеры или того, куда она смотрит (например, "Восточная парковка") повышает качество сводки. Это часть входных данных в сводку и может помочь большой языковой модели (LLM) получить больше контекста кадра.

Если не выбрана подсказка "Фокус на", у сводки есть третья часть, названная "Подробный журнал." Она содержит список всех треков объектов, найденных детекторами, которые были частью предустановки камеры. LLM проверил объекты, и каждый объект включает описание, время, движение и достоверность (по LLM).

Случаи использования

Система сводных данных видео на основе ИИ предназначена для быстрого и эффективного понимания содержимого. Он фиксирует необычные события в долговременных записях видео с живых камер, без необходимости просмотра всей записи.

Ниже приведены некоторые конкретные варианты использования:

Аэропорт - Используйте сводку для длинных видео, чтобы найти интересные и необычные вещи, такие как ранившийся человек и преступные действия, такие как насилие.
Службы безопасности — используйте сводки для просмотра записей с камер и выявления заметных событий у границы.
Производство — система может предоставлять сводки записанных видео с живых камер, ориентированных на безопасность сотрудников. Он может захватывать необычные события, такие как нарушения безопасности жилета, обнаружение падения, утечки нефти или воды, пожар и аномалии в производственной линии.
Розничный– Используйте сводку, чтобы определить пиковый час трафика клиента в течение дня.

Форматы выходных данных — можно задать сводки для использования различных стилей языка: нейтральных, случайных или формальных. Можно также задать длину сводки на короткий, средний или длинный.

Настройка фокуса на запросе

Чтобы создать сводку, добавьте настраиваемую подсказку "Сфокусируйтесь на". Это гарантирует, что сводка является точной и адаптированной к вашим потребностям, определяя интересующие вас события. Это помогает сводке сосредоточиться на событиях, соответствующих вам. См. следующие примеры.

Примеры

Аэропорт - сосредоточиться на необычных событиях, таких как: падение человека, проникновение людей в запрещенные зоны, обнаружение падения.
Торго́вый центр - Сосредоточьтесь на необычных событиях, таких как насилие или физическая стычка.
Безопасность сотрудников — сосредоточиться на необычных событиях, таких как безопасность сотрудников, включая сотрудников, одетых в жилеты безопасности и шлемы, обнаружение падения, а также утечки нефти или воды.
Производственный - Сосредоточьтесь на людях, входящих в производственную линию.

Ограничения

Результаты функции суммирования создаются языковой моделью искусственного интеллекта. Они предназначены для предоставления общего обзора. Хотя мы стремимся к точности и надежности, содержимое может не полностью инкапсулировать суть исходного материала. Перед использованием рекомендуется просмотреть и изменить сводку. Это не должно рассматриваться как профессиональный или персонализированный совет.
Результаты сводки согласованы в каждом стиле сводки. Однако изменение интервала времени или повторного запуска сводки может привести к разным результатам.
При использовании стилей сводки нейтральный стиль иногда может напоминать формальный стиль, а случайный стиль иногда может включать хэштеги, связанные с содержимым. Кроме того, в некоторых случаях сводка «средней» длины может быть короче «краткой».
Поддерживаемая длительность видеосегментов для создания резюме варьируется от 1 минуты до 6 часов. Короткие видео или временные интервалы, которые имеют мало содержимого, могут создавать потенциальные неточности суммирования, которые могут возникать при работе с короткими входными данными.
Длина видео может повлиять на уровень детализации, извлеченной из сводки видео. Длинные видео могут привести к высокоуровневой (неподробной) сводке.
Сгенерированное резюме может содержать неточности, такие как неправильное определение пола, возраста и других личных характеристик.
Сводка может иногда включать или ссылаться на внутренние инструкции, предоставленные ему (называемые мета-запросом). Он может охватывать директивы, чтобы исключить вредное содержимое.
Сводка может пропустить или неправильно интерпретировать короткие события. Алгоритм выборки по одному кадру в секунду (FPS) может игнорировать или неточно интерпретировать краткие события или те, которые попадают между кадрами выборки.
Если исходное видео содержит неуместное содержимое, извлечение результатов суммаризации видео может быть искажено следующим образом:
- Может быть неполным
- Он может содержать отказ от ответственности в отношении неуместного содержимого. В некоторых случаях это может включать несоответствующие или некорректные кавычки, которые могут быть представлены с предупреждением или без него.
Сводка может отображать неточные интервалы времени, если камера была отключена и вы запрашиваете сводку для записанного файла, включающего период отключения. Эта проблема возникает из-за неправильного выравнивания меток времени в видео из-за отключения.