Индексатор видео Azure AI, включенный Arc

Индексатор видео Azure AI, с поддержкой Arc — это служба с поддержкой расширения Azure Arc, которая выполняет анализ видео и аудио и генеративный ИИ на пограничных устройствах. Решение выполняется в Kubernetes с поддержкой Azure Arc, поддерживает множество форматов видео и предполагает, что один ресурс Индексатора видео сопоставляется с одним расширением. Он транскрибирует реченное содержимое на более чем 35 исходных языках и переводит их на английский язык. Полный список поддерживаемых языков см. в разделе "Поддерживаемые языки" для каждого сценария.

Если вы еще не знакомы с индексатором видео в Azure AI, рекомендуется сначала ознакомиться с облачной службой.

Кроме того, прежде чем приступить к работе с Индексатором видео в Azure AI, включенным Arc, ознакомьтесь с примечанием о прозрачности, чтобы понять ограничения использования.

Что такое Azure Arc и Kubernetes с поддержкой Azure Arc?

Azure Arc упрощает управление и контроль сложными средами, которые охватывают центры обработки данных, несколько облаков и вычислительные мощности на границе сети, обеспечивая единую платформу управления для многооблачных и локальных сред.

Kubernetes с поддержкой Azure Arc позволяет подключать кластеры Kubernetes, работающие в любом месте, чтобы управлять и настраивать их в Azure. Управляя всеми ресурсами Kubernetes в одной плоскости управления, вы можете обеспечить более согласованный процесс разработки и операций для запуска облачных приложений в любом месте и на любой платформе Kubernetes.

Когда агенты Azure Arc развертываются в кластере, инициируется исходящее подключение к Azure с помощью стандартного ПРОТОКОЛА SSL для защиты передаваемых данных.

После подключения кластеров к Azure они представлены как собственные ресурсы в Azure Resource Manager (ARM), и их можно упорядочить с помощью групп ресурсов и тегов.

Дополнительные сведения об Azure Arc и Kubernetes с поддержкой Arc см. в обзоре Azure Arc и разделе "Что такое Kubernetes с поддержкой Arc?"

Что такое расширение Azure Arc?

Расширения виртуальных машин — это небольшие приложения, которые выполняют задачи по настройке и автоматизации после развертывания для виртуальных машин Azure. Например, с помощью расширения виртуальной машины (далее — расширение ВМ) на виртуальной машине можно установить программное обеспечение, настроить антивирусную защиту или выполнять сценарии. Дополнительные сведения о расширениях см. в статье "Управление расширениями виртуальных машин" с серверами с поддержкой Azure Arc.

Расширение Индексатора видео Azure ИИ устанавливает и развертывает индексатор Видео Azure в кластере Kubernetes.

Индексатор видео Azure AI, включенный Arc, поддерживает только учетные записи Azure Resource Manager. Операции Resource Manager отделены от операций аналитики видео. Эта конструкция позволяет выполнять анализ на пограничных устройствах без необходимости передавать ресурсы мультимедиа в Azure.

Расширение поддерживается только в сценариях прямого подключения . Несмотря на то что все обработка выполняется в пограничной среде, сведения о плоскости управления отправляются в облако для выставления счетов и мониторинга. Новые версии расширений скачиваются из облака. Данные клиента, такие как индексированные или индексированные аналитические сведения, не отправляются из пограничного расположения в облако.

Языковые модели

Языковая модель Phi включается и автоматически подключается к расширению VI. Вы можете сразу начать использовать его. Дополнительные сведения об использовании языковых моделей с VI см. в следующей статье:

• Используйте текстовое суммирование
• Создание содержимого запроса с помощью индексатора видео Azure AI
• Обзор модели ИИ для индексатора видео Azure (BYO)

См. также примечание о прозрачности для текстового суммирования с использованием VI от Arc относительно требований к оборудованию, ограничений и известных проблем.

Случаи использования

• Управление данными — вы можете перенести ИИ в содержимое, а не наоборот. Используйте индексатор видео Azure AI, включенный Arc, если вы не можете переместить индексированные содержимое из локальной среды в облако из-за:
  • Регламент.
  • Решения по архитектуре.
  • Хранилище данных слишком большое, и его перенос потребует значительных усилий.
• Локальный рабочий процесс — процесс индексирования является частью локального рабочего процесса, и вы хотите снизить задержку в течение индексирования, влияющую на поток.
• Предварительная индексация — перед отправкой содержимого в облако необходимо индексировать. Чтобы создать ясность, вы можете предустановить локальный видео- или аудиоархиватор, а затем передать его только для стандартного или расширенного индексирования в облаке.

Пример развертывания

На следующей схеме показано расширение Индексатора видео Azure AI, работающее в Azure Arc. Существует три типа:

1. В магазине типа A используются предустановки визуальные и звуковые.
2. В магазине типа B используются только предустановки зрения. Он также имеет пользовательскую модель. Дополнительные сведения об использовании пользовательской модели с индексатором видео в Azure AI, включенной с помощью Arc, см. в статье "Принесите свою собственную модель ИИ".
3. Store C использует только предустановки звука.

Расширение хранится на каждом пограничном устройстве, и каждое устройство связано с одной учетной записью Индексатора видео Azure AI, которая взаимодействует с Azure Arc и облаком.

Поддерживаемые предустановки ИИ

Azure AI Video Indexer, активированный Arc, поддерживает следующие предустановки индексирования:

Минимальные требования к оборудованию

Индексатор видео с использованием Arc предназначен для запуска в любой Kubernetes-среде с поддержкой Arc.

Минимальные требования к программному обеспечению

Требования к сети

Используйте следующие сведения для настройки параметров брандмауэра.

Требования к брандмауэру

Следуйте инструкциям в требованиях к сети Kubernetes с поддержкой Azure Arc.

Кроме того, добавьте *.azureedge.net и *.data.microsoft.com.

Для индексатора видео, включенного расширением Arc, добавьте следующие конечные точки:

Сводка необходимых конечных точек и портов

Включите следующие конечные точки и порты.

Службы Azure Arc (HTTPS)

• management.azure.com:443
• *.dp.kubernetesconfiguration.azure.com:443
• login.microsoftonline.com:443
• *.login.microsoft.com:443
• login.windows.net:443
• mcr.microsoft.com:443
• *.data.mcr.microsoft.com:443
• dl.k8s.io:443
• gbl.his.arc.azure.com:443
• *.his.arc.azure.com:443
• guestnotificationservice.azure.com:443
• *.guestnotificationservice.azure.com:443
• sts.windows.net:443
• *.servicebus.windows.net:443
• graph.microsoft.com:443
• *.arc.azure.net:443
• linuxgeneva-microsoft.azurecr.io:443

Службы Azure Arc OBO (пользовательский порт HTTPS)

• *.obo.arc.azure.com:8084

Хранилище файлов Azure (SMB)

• STORAGE_ACCOUNT_NAME.file.core.windows.net:139,445

Телеметрия (HTTPS)

• linuxgeneva-microsoft.azurecr.io:443
• *.blob.core.windows.net:443
• gcs.prod.monitoring.core.windows.net:443
• *.microsoftmetrics.com:443
• *.table.core.windows.net:443
• *.azureedge.net:443
• *.data.microsoft.com:443

VideoIndexer (HTTPS)

• api.videoindexer.ai:443

Поддерживаемые форматы ввода и кодеки

В следующем разделе перечислены поддерживаемые форматы входных данных и кодеки для Индексатора видео Azure AI, который активируется с помощью Arc.

Форматы видео

• AVI (.avi)
• FLV (с кодеками H.264 и AAC) (.flv)
• ISMV (.isma, .ismv)
• Matroska (.mkv)
• MP4 (.mp4, .m4a, .m4v)
• MXF (MXF)
• MPEG2-TS
• QuickTime (.mov)
• Формат аудиофайла WAVE/WAV (.wav)
• Форматы видео Windows Media (WMV)/ASF (.wmv, .asf)

Видеокодеки

• AVC 8-разрядный/10-разрядный, до 4:2:2, включая AVCIntra
• Цифровое видео (DV) (в AVI-файлах)
• DVCPro/DVCProHD (в контейнере MXF)
• HEVC/H.265
• MPEG-1
• MPEG-2 (до профиля 422 и высокого уровня, включая такие варианты, как Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® и D10)
• MPEG-4, часть 2
• VC-1/WMV9

Аудиокодеки до двух треков

• AAC (AAC-LC, AAC-HE и AAC-HEv2)
• FLAC
• MPEG Layer 2
• MP3 (MPEG-1 Audio Layer 3)
• VORBIS
• WAV/PCM
• Аудио Windows Media

Принесите свою собственную модель

Индексатор видео Azure AI с поддержкой Arc также позволяет использовать собственную модель. Дополнительные сведения см. в статье "Используйте собственную модель (BYO)".

Ограничения

• Поддерживаемый размер файла для индексирования составляет до 2 ГБ.
• Обновление расширения:
  • Поддержка расширений применяется только к последней версии.
  • Рекомендуем установить свойство auto-upgrade в true. Параметр обновляет расширение.
  • Если для параметра автоматического обновления задано значение false, необходимо обновить версию постепенно. Переход между версиями может привести к сбою процессов индексирования.
• После установки или обновления расширения ожидается, что продолжительность первого процесса индекса\перевода будет длиннее обычной. Увеличение продолжительности связано с загрузкой изображения модели ИИ. Длительность зависит от скорости сети.
• Для каждого кластера Kubernetes с поддержкой Arc можно развернуть только одно расширение индексатора видео.
• Производительность тома кластера (на основе класса хранилища) оказывает значительное влияние на время выполнения задания индексирования, особенно потому, что извлечение фреймов записывает все фреймы в том.
• Поддерживаются только токены доступа для расширений. Вы можете получить токены доступа для расширения через API/CLI. Примеры получения маркера доступа см. в разделе "Как получить доступ к расширению".
• Сообщения об ошибках видео не хранятся из-за ограничений памяти.

Хранилище контейнеров Azure, управляемое Arc

Мы рекомендуем использовать хранилище контейнеров Azure с поддержкой Azure Arc для хранения. Дополнительные сведения см. в следующих статьях:

• Что такое хранилище контейнеров Azure с поддержкой Azure Arc?
• Подготовка Linux для Edge Volumes

Связанный контент

• Попробуйте образец Azure AI Video Indexer, активированный с помощью Arc на GitHub
• Попробуйте включить индексатор видео Azure AI с помощью Arc Jumpstart
• Попробуйте развернуть на портале Azure с помощью индексатора видео Azure AI с поддержкой функции быстрого запуска Arc.