Примечание
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Индексатор видео Azure AI, с поддержкой Arc — это служба с поддержкой расширения Azure Arc, которая выполняет анализ видео и аудио и генеративный ИИ на пограничных устройствах. Решение выполняется в Kubernetes с поддержкой Azure Arc, поддерживает множество форматов видео и предполагает, что один ресурс Индексатора видео сопоставляется с одним расширением. Он транскрибирует реченное содержимое на более чем 35 исходных языках и переводит их на английский язык. Полный список поддерживаемых языков см. в разделе "Поддерживаемые языки" для каждого сценария.
Если вы еще не знакомы с индексатором видео в Azure AI, рекомендуется сначала ознакомиться с облачной службой.
Кроме того, прежде чем приступить к работе с Индексатором видео в Azure AI, включенным Arc, ознакомьтесь с примечанием о прозрачности, чтобы понять ограничения использования.
Внимание
Чтобы успешно развернуть расширение Azure AI Video Indexer, необходимо, чтобы ваш идентификатор подписки Azure был заранее одобрен. Сначала необходимо зарегистрироваться с помощью формы в приложении для шлюзированных служб.
Что такое Azure Arc и Kubernetes с поддержкой Azure Arc?
Azure Arc упрощает управление и контроль сложными средами, которые охватывают центры обработки данных, несколько облаков и вычислительные мощности на границе сети, обеспечивая единую платформу управления для многооблачных и локальных сред.
Kubernetes с поддержкой Azure Arc позволяет подключать кластеры Kubernetes, работающие в любом месте, чтобы управлять и настраивать их в Azure. Управляя всеми ресурсами Kubernetes в одной плоскости управления, вы можете обеспечить более согласованный процесс разработки и операций для запуска облачных приложений в любом месте и на любой платформе Kubernetes.
Когда агенты Azure Arc развертываются в кластере, инициируется исходящее подключение к Azure с помощью стандартного ПРОТОКОЛА SSL для защиты передаваемых данных.
После подключения кластеров к Azure они представлены как собственные ресурсы в Azure Resource Manager (ARM), и их можно упорядочить с помощью групп ресурсов и тегов.
Дополнительные сведения об Azure Arc и Kubernetes с поддержкой Arc см. в обзоре Azure Arc и разделе "Что такое Kubernetes с поддержкой Arc?"
Что такое расширение Azure Arc?
Расширения виртуальных машин — это небольшие приложения, которые выполняют задачи по настройке и автоматизации после развертывания для виртуальных машин Azure. Например, с помощью расширения виртуальной машины (далее — расширение ВМ) на виртуальной машине можно установить программное обеспечение, настроить антивирусную защиту или выполнять сценарии. Дополнительные сведения о расширениях см. в статье "Управление расширениями виртуальных машин" с серверами с поддержкой Azure Arc.
Расширение Индексатора видео Azure ИИ устанавливает и развертывает индексатор Видео Azure в кластере Kubernetes.
Индексатор видео Azure AI, включенный Arc, поддерживает только учетные записи Azure Resource Manager. Операции Resource Manager отделены от операций аналитики видео. Эта конструкция позволяет выполнять анализ на пограничных устройствах без необходимости передавать ресурсы мультимедиа в Azure.
Расширение поддерживается только в сценариях прямого подключения . Несмотря на то что все обработка выполняется в пограничной среде, сведения о плоскости управления отправляются в облако для выставления счетов и мониторинга. Новые версии расширений скачиваются из облака. Данные клиента, такие как индексированные или индексированные аналитические сведения, не отправляются из пограничного расположения в облако.
Языковые модели
Языковая модель Phi включается и автоматически подключается к расширению VI. Вы можете сразу начать использовать его. Дополнительные сведения об использовании языковых моделей с VI см. в следующей статье:
- Используйте текстовое суммирование
- Создание содержимого запроса с помощью индексатора видео Azure AI
- Обзор модели ИИ для индексатора видео Azure (BYO)
См. также примечание о прозрачности для текстового суммирования с использованием VI от Arc относительно требований к оборудованию, ограничений и известных проблем.
Случаи использования
-
Управление данными — вы можете перенести ИИ в содержимое, а не наоборот. Используйте индексатор видео Azure AI, включенный Arc, если вы не можете переместить индексированные содержимое из локальной среды в облако из-за:
- Регламент.
- Решения по архитектуре.
- Хранилище данных слишком большое, и его перенос потребует значительных усилий.
- Локальный рабочий процесс — процесс индексирования является частью локального рабочего процесса, и вы хотите снизить задержку в течение индексирования, влияющую на поток.
- Предварительная индексация — перед отправкой содержимого в облако необходимо индексировать. Чтобы создать ясность, вы можете предустановить локальный видео- или аудиоархиватор, а затем передать его только для стандартного или расширенного индексирования в облаке.
Пример развертывания
На следующей схеме показано расширение Индексатора видео Azure AI, работающее в Azure Arc. Существует три типа:
- В магазине типа A используются предустановки визуальные и звуковые.
- В магазине типа B используются только предустановки зрения. Он также имеет пользовательскую модель. Дополнительные сведения об использовании пользовательской модели с индексатором видео в Azure AI, включенной с помощью Arc, см. в статье "Принесите свою собственную модель ИИ".
- Store C использует только предустановки звука.
Расширение хранится на каждом пограничном устройстве, и каждое устройство связано с одной учетной записью Индексатора видео Azure AI, которая взаимодействует с Azure Arc и облаком.
Поддерживаемые предустановки ИИ
Azure AI Video Indexer, активированный Arc, поддерживает следующие предустановки индексирования:
Модель | Базовое видео | Базовый звук | Базовое видео и звук |
---|---|---|---|
Транскрипция | ✔ | ✔ | |
Перевод | ✔ | ✔ | |
Титры | ✔ | ✔ | |
Обнаружение ключевых кадров | ✔ | ✔ | |
Обнаружение объектов | ✔ | ✔ | |
Обнаружение сцены | ✔ | ✔ | |
Обнаружение снимка | ✔ | ✔ | |
Резюме | ✔ | ✔ | ✔ |
Минимальные требования к оборудованию
Индексатор видео с использованием Arc предназначен для запуска в любой Kubernetes-среде с поддержкой Arc.
Примечание.
В следующей таблице рассматриваются минимальные требования к рабочей среде. Рекомендуется по крайней мере двухузловой кластер для обеспечения высокой доступности и масштабируемости. Рекомендуемые параметры относятся к параметрам на уровне кластера. Например, если у вас есть два узла, каждый узел должен иметь 16 ядер и 32 ГБ ОЗУ. Рекомендуется создать выделенный пул узлов или группы автомасштабирования для размещения решения VI.
Настройка | Количество виртуальных машин | Количество ядер ЦП узла | ОЗУ узла | Хранилище узлов | Замечания |
---|---|---|---|---|---|
Минимум | Один | 32 Ядра | 64 ГБ | 50 ГБ | Хранилище должно поддерживать ReadWriteMany класс хранилища |
Рекомендовано | Два | 48-64 Ядра | 256 ГБ | 100 ГБ | Хранилище должно поддерживать ReadWriteMany класс хранилища |
Минимальные требования к программному обеспечению
Компонент | Минимальные требования |
---|---|
Операционная система | Ubuntu 22.04 LTS или любая совместимая с Linux ОС |
Kubernetes | 1,29 |
Azure CLI (Интерфейс командной строки для Azure) | 2.64.0 |
Требования к сети
Используйте следующие сведения для настройки параметров брандмауэра.
Требования к брандмауэру
Следуйте инструкциям в требованиях к сети Kubernetes с поддержкой Azure Arc.
Кроме того, добавьте *.azureedge.net и *.data.microsoft.com.
Для индексатора видео, включенного расширением Arc, добавьте следующие конечные точки:
Конечная точка (DNS) | Описание |
---|---|
linuxgeneva-microsoft.azurecr.io, *.blob.core.windows.net | Используется для реестра контейнеров для телеметрии |
*.monitoring.core.windows.net, *.microsoftmetrics.com, *.table.core.windows.net | Используется для телеметрии |
api.videoindexer.ai | Используется для проверки токена доступа |
Сводка необходимых конечных точек и портов
Включите следующие конечные точки и порты.
Службы Azure Arc (HTTPS)
- management.azure.com:443
- *.dp.kubernetesconfiguration.azure.com:443
- login.microsoftonline.com:443
- *.login.microsoft.com:443
- login.windows.net:443
- mcr.microsoft.com:443
- *.data.mcr.microsoft.com:443
- dl.k8s.io:443
- gbl.his.arc.azure.com:443
- *.his.arc.azure.com:443
- guestnotificationservice.azure.com:443
- *.guestnotificationservice.azure.com:443
- sts.windows.net:443
- *.servicebus.windows.net:443
- graph.microsoft.com:443
- *.arc.azure.net:443
- linuxgeneva-microsoft.azurecr.io:443
Службы Azure Arc OBO (пользовательский порт HTTPS)
- *.obo.arc.azure.com:8084
Хранилище файлов Azure (SMB)
- STORAGE_ACCOUNT_NAME.file.core.windows.net:139,445
Примечание.
При использовании AKS с драйвером CSI для файлов Azure, чтобы монтировать общие папки как постоянные тома, откройте порты 139 и 445 для соответствующей общей папки.
Телеметрия (HTTPS)
- linuxgeneva-microsoft.azurecr.io:443
- *.blob.core.windows.net:443
- gcs.prod.monitoring.core.windows.net:443
- *.microsoftmetrics.com:443
- *.table.core.windows.net:443
- *.azureedge.net:443
- *.data.microsoft.com:443
VideoIndexer (HTTPS)
- api.videoindexer.ai:443
Поддерживаемые форматы ввода и кодеки
В следующем разделе перечислены поддерживаемые форматы входных данных и кодеки для Индексатора видео Azure AI, который активируется с помощью Arc.
Форматы видео
- AVI (.avi)
- FLV (с кодеками H.264 и AAC) (.flv)
- ISMV (.isma, .ismv)
- Matroska (.mkv)
- MP4 (.mp4, .m4a, .m4v)
- MXF (MXF)
- MPEG2-TS
- QuickTime (.mov)
- Формат аудиофайла WAVE/WAV (.wav)
- Форматы видео Windows Media (WMV)/ASF (.wmv, .asf)
Видеокодеки
- AVC 8-разрядный/10-разрядный, до 4:2:2, включая AVCIntra
- Цифровое видео (DV) (в AVI-файлах)
- DVCPro/DVCProHD (в контейнере MXF)
- HEVC/H.265
- MPEG-1
- MPEG-2 (до профиля 422 и высокого уровня, включая такие варианты, как Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® и D10)
- MPEG-4, часть 2
- VC-1/WMV9
Аудиокодеки до двух треков
- AAC (AAC-LC, AAC-HE и AAC-HEv2)
- FLAC
- MPEG Layer 2
- MP3 (MPEG-1 Audio Layer 3)
- VORBIS
- WAV/PCM
- Аудио Windows Media
Принесите свою собственную модель
Индексатор видео Azure AI с поддержкой Arc также позволяет использовать собственную модель. Дополнительные сведения см. в статье "Используйте собственную модель (BYO)".
Ограничения
- Поддерживаемый размер файла для индексирования составляет до 2 ГБ.
- Обновление расширения:
- Поддержка расширений применяется только к последней версии.
- Рекомендуем установить свойство
auto-upgrade
вtrue
. Параметр обновляет расширение. - Если для параметра автоматического обновления задано значение false, необходимо обновить версию постепенно. Переход между версиями может привести к сбою процессов индексирования.
- После установки или обновления расширения ожидается, что продолжительность первого процесса индекса\перевода будет длиннее обычной. Увеличение продолжительности связано с загрузкой изображения модели ИИ. Длительность зависит от скорости сети.
- Для каждого кластера Kubernetes с поддержкой Arc можно развернуть только одно расширение индексатора видео.
- Производительность тома кластера (на основе класса хранилища) оказывает значительное влияние на время выполнения задания индексирования, особенно потому, что извлечение фреймов записывает все фреймы в том.
- Поддерживаются только токены доступа для расширений. Вы можете получить токены доступа для расширения через API/CLI. Примеры получения маркера доступа см. в разделе "Как получить доступ к расширению".
- Сообщения об ошибках видео не хранятся из-за ограничений памяти.
Хранилище контейнеров Azure, управляемое Arc
Мы рекомендуем использовать хранилище контейнеров Azure с поддержкой Azure Arc для хранения. Дополнительные сведения см. в следующих статьях:
Связанный контент
- Попробуйте образец Azure AI Video Indexer, активированный с помощью Arc на GitHub
- Попробуйте включить индексатор видео Azure AI с помощью Arc Jumpstart
- Попробуйте развернуть на портале Azure с помощью индексатора видео Azure AI с поддержкой функции быстрого запуска Arc.