Анализ видео в режиме реального времени в Индексаторе видео в Azure AI — предварительная версия

Индексатор видео Azure AI с поддержкой Arc (VI), в рамках адаптивного облачного подхода, вводит анализ видео в режиме реального времени. Она позволяет извлекать аналитические сведения в режиме реального времени из видеотрансляций, позволяя немедленно обнаруживать и действовать на границе. Анализ видео в режиме реального времени предоставляет готовые решения и возможность создавать пользовательские решения на основе ИИ для обнаружения конкретных объектов или состояний, адаптированных под ваши специфические потребности. Вы можете просматривать данные в режиме реального времени непосредственно поверх вашего видеопотока с рамками, выделяющими обнаруженные объекты. Вы также можете сохранять потоки и аналитические сведения в виде файлов. Вы можете отправлять и индексировать файлы внешних носителей. С помощью Индексатора видео Azure ai можно создавать краткие сводки для сегментов записанных видеоматериалов, помогая быстро догнать ключевые события без просмотра всего видео.

Этот сервис легко оценить и интегрировать. Используйте веб-портал или REST API, чтобы добавить Индексатор видео Azure в рабочие процессы и системы.

  • Вы не платите за анализ видео в режиме реального времени, пока он находится в предварительной версии.
  • Анализ в режиме реального времени был проверен в локальной среде Azure, но совместим с любой инфраструктурой Kubernetes.

Important

Чтобы развернуть расширение для индексатора видео в реальном времени Azure, добейтесь предварительного утверждения идентификатора вашей подписки Azure. Вы можете зарегистрироваться в программе раннего доступа для Индексатор видео ИИ Azure Enabled by Arc — программа с анализом в реальном времени.

Что делать с анализом в режиме реального времени?

Вы можете интегрировать анализ VI в режиме реального времени с потоковой передачей камеры для использования обнаружения на основе ИИ из разных расположений. Эта служба анализирует видео в реальном времени, превращая необработанные кадры в полезные аналитические сведения.

Сценарии клиентов и варианты использования

  • Розничная торговля — оптимизация макетов магазинов и улучшение взаимодействия с клиентами и безопасностью. С помощью анализа в режиме реального времени вы можете отслеживать количество клиентов в линиях регистрации в режиме реального времени, помогая розничным продавцам немедленно действовать для оптимизации персонала и сокращения времени ожидания.

  • Производство - Обеспечьте контроль качества и безопасность работников с помощью видеоанализа. Например, работники, которые не носят защитное снаряжение и которым требуется обнаружение критических событий в режиме реального времени, а также поиск конкретных моментов в видеопотоках.

  • Современная безопасность — Обнаружение и выявление проблем безопасности и безопасности перед тем, как они вызывают риск.

Ограничения

Следующие ограничения применяются к функции анализа в режиме реального времени:

Ограничения камеры

  • Поддерживаются только статические камеры. Камеры PTZ не поддерживаются.
  • Камеры должны поддерживать отчеты отправителей протокола RTCP.
  • Поддерживается только непрерывная потоковая передача видео. Видео с активацией движения не поддерживается.
  • Частота кадров должна составлять от 28 до 32 FPS. Все камеры, подключенные к одному расширению, должны иметь одинаковые FPS.
  • Минимальное поддерживаемая разрешение составляет 640 x 480 пикселей. Рекомендуемое разрешение для оптимальной производительности — 1280 x 720 пикселей.
  • При использовании видео ультра-высокого разрешения (ширина кадра, равная или больше 3840 пикселей, или высота кадра, равная или больше 2160 пикселей), система автоматически использует решение, которое обнаруживает небольшие объекты и охватывает весь кадр. Однако записанное видео сохраняется в более низком разрешении, что является Full HD (1920 x 1080 пикселей) при сохранении пропорции. Система не может принимать видео с ультра-высоким разрешением и видео с более низким разрешением в том же расширении.
  • Цвет должен быть RGB.
  • Линзы Fisheye не поддерживаются.

Ограничения обнаружения

  • Система обнаруживает только объекты размером более 35 x 35 пикселей.
  • Детектор может не обнаруживать объекты в темных областях и в плохих погодных условиях. Экстремальные погодные условия могут снизить качество результатов. Например, сильный дождь и туман.
  • Окклюзии могут снизить качество результатов и вызвать фрагментацию процесса отслеживания объектов.
  • Детектор может пропустить или неправильно классифицировать объекты при просмотре с необычной точки зрения или экстремальных углов.
  • Оценка достоверенности обнаружения, как показано в пользовательском интерфейсе, отразает его первое появление. На пути уверенность может измениться и отображается только в API.

Требования к аппаратному обеспечению

Ниже приведена таблица, показывающая требования к оборудованию.

Минимум:

Количество виртуальных машин ЦП (на узел) ОЗУ (на узел) Хранение Графический процессор
1 32 ядра 64 ГБ 200 ГБ
1 16 ядер 64 ГБ 200 ГБ NVIDIA A2

Recommended

Количество виртуальных машин ЦП (на узел) ОЗУ (на узел) Хранение Графический процессор
2 32 ядра 64 ГБ 200 ГБ
1 16 ядер 64 ГБ 200 ГБ NVIDIA A100 / H100

Количество поддерживаемых камер в одном расширении зависит от используемого GPU и возможностей, выполняемых на камере, как описано в следующей таблице:

Сценарий \ GPU A2 A10 V100 A100 H100
Потоковая передача и запись + аналитика От 1 до 4 6 2 8 11
Потоковая передача и инсайты От 1 до 4 7 2 11 12
Только инсайты От 1 до 4 7 2 16 16
Жесткое ограничение 4 8 4 16 16

Использование ультрасовременного разрешения может уменьшить количество поддерживаемых камер на GPU.

  • Поддерживаются GPU NVIDIA A2, A10, V100, A100, A100 и H100.
  • Минимально необходимое общее хранилище составляет 50 ГБ для одной камеры в день. Эта оценка основана на сценарии сохранения записей и аналитических сведений.
  • Чтобы передать видеофайлы мультимедиа в динамическое расширение, добавьте другую виртуальную машину без GPU, как указано в минимальных требованиях к оборудованию для VI, включенных Arc.
  • Использование сводки событий для записанных файлов мультимедиа требует дополнительной виртуальной машины с GPU.

Минимальные требования к программному обеспечению

Компонент Минимальные требования
Операционная система Ubuntu 20.04 LTS или любая совместимая с Linux ОС
Kubernetes 1,29
Azure CLI 2.64.0
CUDA 12.6 на виртуальной машине

Замечание

Код, сопровождающий этот документ, доступен в общей папке документации.

Вы можете увидеть, в каких регионах Azure доступен Индексатор видео ИИ Azure на странице регионов.