Получение аналитических сведений о транскрибировании мультимедиа, переводе и идентификации языка

Функции расшифровки, перевода и идентификации языка обнаруживают, транскрибировать и переводить речь в файлах мультимедиа более чем на 50 языков.

Индексатор видео Azure AI (VI) обрабатывает речь в звуковом файле, чтобы извлечь транскрипцию, которая затем переводится на многие языки. При выборе определенного языка для перевода транскрибирование и аналитические сведения, такие как ключевые слова, разделы, метки или OCR, переводятся на указанный язык. Вы можете использовать транскрипцию как есть или объединить её с данными о говорящем, которые определяют, кто что сказал, и назначают расшифровки соответствующим докладчикам. Звуковой файл может содержать несколько динамиков. Каждый докладчик получает идентификатор, отображаемый под их транскрибируемой речью.

Идентификация языка (LID) распознает поддерживаемый доминирующий язык в видеофайле. Дополнительные сведения см. в разделе "Применение LID".

Многоязычная идентификация (MLID) автоматически распознает языки в разных сегментах звукового файла и отправляет каждый сегмент, который будет транскрибирован на определенных языках. В конце этого процесса все транскрибирования объединяются в один файл. Дополнительные сведения см. в разделе "Применение MLID". Полученные данные создаются в категоризированном списке в JSON-файле, включающем идентификатор, язык, транскрибированный текст, длительность и оценку достоверности.

Когда индексатор видео Azure AI индексирует файлы мультимедиа с несколькими динамиками, он выполняет диаризацию говорящего. Он идентифицирует каждого говорящего в видео и назначает каждую транскрибированную строку соответствующему говорящему. Докладчики получают уникальные идентификаторы, такие как спикер #1 и спикер #2. Эта функция позволяет идентифицировать докладчиков во время беседы и может быть полезно в различных сценариях, таких как беседы с врачом-пациентом, взаимодействие с агентом и клиентом, а также судебные разбирательства.

Варианты использования транскрибирования мультимедиа, перевода и идентификации языка

• Повышение доступности путем обеспечения доступности содержимого для людей с ограниченными возможностями слуха. Используйте индексатор видео Azure AI для создания транскрибирования речи к тексту и перевода на несколько языков.
• Улучшение распространения контента для различных аудиторий в разных регионах и языках. Доставляйте содержимое на нескольких языках с помощью возможностей транскрибирования и перевода Индексатора видео Azure.
• Улучшение и улучшение создания субтитров и субтитров вручную. Используйте возможности транскрибирования и перевода видео в Azure AI Video Indexer и закрытые субтитры, созданные Индексатором видео Azure в одном из поддерживаемых форматов.
• Транскрибирование видео на неизвестных языках с помощью идентификации языка (LID) или многоланговой идентификации (MLID). Эти функции позволяют Индексатору видео Azure ИИ автоматически определять языки, отображаемые в видео, и создавать транскрибирование соответствующим образом.

Откройте JSON с аналитикой с помощью веб-портала

После отправки и индексирования видео скачайте аналитические сведения в формате JSON с веб-портала.

1. Перейдите на вкладку "Библиотека ".
2. Выберите нужный носитель.
3. Выберите "Скачать", а затем выберите "Аналитика" (JSON). Файл JSON открывается на новой вкладке браузера.
4. Найдите пару ключей, описанную в примере ответа.

Использование API

1. Используйте запрос на получение индекса видео . Передайте &includeSummarizedInsights=false.
2. Найдите пары ключей, описанные в примере ответа.

Пример отклика

API возвращает все языки, которые API обнаруживает в видео под sourceLanguage. Каждая запись в разделе транскрипции включает транскрибированный язык.

    "insights": {
      "version": "1.0.0.0",
      "duration": "0:01:50.486",
      "sourceLanguage": "en-US",
      "sourceLanguages": [
        "es-ES",
        "en-US"
      ],
      "language": "en-US",
      "languages": [
        "en-US"
      ],
      "transcript": [
        {
          "id": 1,
          "text": "Hi, I'm Doug from office. We're talking about new features that office insiders will see first and I have a program manager,",
          "confidence": 0.8879,
          "speakerId": 1,
          "language": "en-US",
          "instances": [
            {
              "adjustedStart": "0:00:00",
              "adjustedEnd": "0:00:05.75",
              "start": "0:00:00",
              "end": "0:00:05.75"
            }
          ]
        },
        {
          "id": 2,
          "text": "Emily Tran, with office graphics.",
          "confidence": 0.8879,
          "speakerId": 1,
          "language": "en-US",
          "instances": [
            {
              "adjustedStart": "0:00:05.75",
              "adjustedEnd": "0:00:07.01",
              "start": "0:00:05.75",
              "end": "0:00:07.01"
            }
          ]
        },

Пример кода

Ознакомьтесь со всеми примерами индексатора видео Azure AI