Поделиться через

Используйте текстовую суммаризацию

В этой статье показано, как использовать текстовое суммирование с использованием Azure AI Video Indexer. В этом примере используются развертывания модели Azure OpenAI.

Примечание.

Эта функция работает только с платной учетной записью. Создайте платную учетную запись .

Предварительные условия

Ознакомьтесь с обзором текстового резюмирования и следующими предварительными условиями.

Облако

  • Платная учетная запись Azure AI Индексатор видео , подключенная к учетной записи Azure OpenAI.

  • Службе Azure OpenAI предоставлен доступ в требуемой подписке Azure В настоящее время доступ к этой службе предоставляется приложением. Дополнительные сведения о том, как подать заявку на доступ к Azure OpenAI, см. в разделе Ограниченный доступ к службе Azure OpenAI.

  • Развертывание Azure OpenAI GPT-35-Turbo, GPT-4, GPT-4o или GPT-4O-mini. Чтобы воспользоваться сводками на основе ключевых кадров, необходимо выбрать модель Azure OpenAI, которая принимает визуальные данные. Для получения дополнительной информации см. Модели Службы Azure OpenAI.

  • В развертывание системы следует добавить фильтр защиты от прямых атак (джейлбрейк). Дополнительные сведения см. здесь: использование фильтров содержимого (предварительная версия) с помощью Службы Azure OpenAI.

  • Мы рекомендуем настроить вредоносные фильтры содержимого для таких категорий, как "Насилие", "Ненависть", "Сексуальное" и "Самоповредение". Хотя эти фильтры не являются обязательными, следует задать для них значение "Средний" или "Низкий", чтобы отфильтровать содержимое по крайней мере среднего уровня вредности. Этот параметр гарантирует, что содержимое с рейтингом вредности среднего или более высокого уровня блокируется. Для повышения безопасности можно выбрать более строгий параметр. После настройки сохраните параметры фильтра содержимого.

  • Видео, отправленное в библиотеку индексатора видео Azure AI.

Примечание.

Индексатор видео Azure AI не может подключаться к точно настроенным моделям.

Устройства периферии

Индексатор видео Azure AI, основанный на Arc, позволяет использовать Azure AI Video Indexer на граничных устройствах. Ниже приведены технические требования для этого варианта использования:

  • Индексатор видео, активированный с помощью Arc версии 1.1.23 или более поздней.
  • Требования к оборудованию: GPU или процессоры Intel. Мы не рекомендуем работать на ЦП из-за медленной скорости. Рекомендуется использовать gpu Nvidia V100 или более поздней версии. При наличии нескольких узлов GPU можно добавить селектор узлов, чтобы выбрать нужный узел.
  • Использование ключевых кадров для создания сводки требует Nvidia A100 или более поздней версии.
  • Сводка текстовых видео на уровне периферии использует только модель Phi3.5. Дополнительные сведения об оборудовании см. в официальной информации о выпуске Phi 3.5.

Открытие веб-страниц в браузере

Проще следовать этим инструкциям, если у вас уже есть необходимые веб-страницы. Скопируйте и вставьте следующие параметры в любимый текстовый редактор. Ниже приведен список для начала работы:

  • Идентификатор учетной записи VI:
  • Идентификатор видеофайла:
  • имя развертывания:
  • маркер доступа:
  1. Откройте портал Azure на одной вкладке или окне и войдите.
    1. Перейдите на страницу учетной записи Индексатора видео Azure AI для ID учетной записи.
    2. Перейдите на страницу учетной записи Azure OpenAI
      1. В меню выберите "Развертывания модели", а затем выберите "Управление развертываниями". Откроется Azure OpenAI Studio. Скопируйте имя развертывания, которое вы хотите использовать.
  2. Откройте веб-портал Индексатора видео Azure AI на другой вкладке или окне и войдите в систему.
    1. Перейдите на страницу библиотеки, выберите видео, а затем щелкните его правой кнопкой мыши для идентификатора видеофайла.
  3. Откройте API индексатора видео в Azure AI на другой вкладке или окне и войдите в систему.

Создать текстовую сводку с ключевыми кадрами или без них.

Для суммирования текста можно использовать веб-портал Индексатора видео Azure AI.

  1. Если вы еще не открыли веб-портал, откройте веб-портал Azure AI Индексатор видео.
  2. Отправьте файл и дождитесь его индексирования.
  3. Выберите видео, чтобы перейти на страницу мультимедиа.
  4. Если вы хотите использовать ключевые кадры для создания сводки, выберите опцию Включить визуальные ключевые кадры для более качественной сводки.
  5. Выберите "Создать сводку". Создается текстовая сводка.

Примечание.

Если вы не видите кнопку создания сводки , возможно, вы используете пробную учетную запись. Чтобы использовать эту функцию, создайте учетную запись стандарт.

Сводка настроек

После создания сводки можно внести в него корректировки, настроив стиль сводки или изменив развертывание модели.

Настройка стиля сводки

Вы также можете настроить сводку, выбрав значок "Настройка сводки ". Вы можете выбрать короткие, средние или длинные суммарные длины, а также выбрать "Нейтральный", " Случайный" или "Формальный " в виде стиля сводки. После выбора нажмите кнопку "Создать снова".

Изменение развертывания модели

  1. Щелкните значок "Настройка сводки".
  2. Выберите развертывание модели, которое вы хотите использовать, в раскрывающемся списке Развертывание модели.
  3. Снова нажмите кнопку "Создать".

Примечание.

Помните, что развертывание модели — это сочетание модели и фильтров. Кроме того, каждый раз при настройке сводки текста выполняется запрос PUT API.

Устранение неполадок

Прежде чем искать конкретные решения, убедитесь, что вы создали ресурсы в разделе предварительных требований документа.

Не появляется опция создания сводки

Ваша учетная запись Azure OpenAI может быть подключена к вашей учетной записи Индексатора видео Azure AI неправильно.

Не удалось создать сводку

  • Необходимо добавить фильтры содержимого в процесс развертывания, чтобы избежать отображения вредного контента. Вернитесь в студию Azure OpenAI и добавьте фильтры в ваше развертывание.
  • Вы создали разрешающий фильтр для чувствительного или вредного контента. Фильтр содержимого должен быть по крайней мере средним. Если для фильтра содержимого задано значение "Средний" И вредное содержимое остается в видео, фильтр активируется. В этом случае нет решения.
  • Вы не запросили расшифровку или во время процесса индексирования не было достаточно информации.
  • Возможно, вы используете расширенную предустановку.
  • Видео может не иметь достаточно звука для создания преобразования.

Невозможно использовать развертывание модели или развертывание отсутствует.

  • Вы не осуществили развертывание.
  • Кто-то изменил или удалил развернутую модель.

Ограничение скорости

Может быть слишком много запросов, отправляемых в VI. Подождите несколько минут и повторите попытку.

Вы получите сообщение об ошибке "Фильтр не найден"

Если произойдет ошибка "фильтр не найден", вы получите подробное сообщение об ошибке, объясняющее, что именно отсутствует. Ошибка может выглядеть примерно в следующем примере, но может содержать сведения о других отсутствующих вещах:

ErrorType":"SUMMARY_FILTERS_NOT_FOUND","Message":"Couldn't generate a summary because the model needs to be set with the right content filters to avoid showing harmful content. Input filter 'Jailbreak' must be enabled with action set to 'Annotate and block'. Trace id: '00000000-0000-0000-0000-000000000000'.

Примечание.

Фильтр "jailbreak" требуется только при использовании сводки по ключевым кадрам или регулярной сводке, начиная с 1 ноября 2024 года.

Чтобы устранить проблему с джейлбрейком, выполните следующие действия.

  1. Выберите "Перейти к Azure Open AI Studio".
  2. Выберите Развертывания.
  3. Выберите развертывание, с которым вы работаете.
  4. Выберите Изменить.
  5. Настройте фильтры по крайней мере среднего уровня для каждой категории.
  6. Примените защитные экраны для атак типа взлом устройства.
  7. Выберите " Создать фильтр".

Другие вопросы

Рекомендуем создавать учетные записи индексатора видео Azure искусственного интеллекта и Azure OpenAI в одном регионе, чтобы избежать проблем с производительностью.