Настройте речевую модель

2025-06-05

Примечание

Настройка модели речи, включая обучение произношения, доступна в пробных учетных записях Индексатора видео Azure и учетных записях Resource Manager. Классические учетные записи не поддерживают эту функцию. Сведения об использовании пользовательского языка см. в статье "Настройка языковой модели".

Azure AI Video Indexer позволяет создавать настраиваемые модели речи для персонализации распознавания речи, загружая наборы данных, которые используются для создания модели речи. Эта статья объясняет шаги на сайте Video Indexer, чтобы достичь этого. Вы также можете использовать API, как описано в разделе "Настройка модели речи" с помощью API.

Подробные сведения и рекомендации для пользовательских моделей речи см. в статье "Настройка модели распознавания речи с помощью Индексатора видео в Azure AI".

Предпосылки

Ознакомьтесь с руководством по обучению модели распознавания речи.
Учетная запись Azure.
Учетная запись индексатора видео Azure AI

Веб-портал
API

Создание набора данных

Так как все пользовательские модели должны содержать набор данных, начните с процесса создания наборов данных и управления ими.

Нажмите кнопку настройки модели .
Выберите вкладку Речь (новое).
Выберите "Отправить набор данных".
Выберите либо Простой текст, либо Произношение в выпадающем меню Тип набора данных. Каждый модель распознавания речи должна иметь набор данных с текстами, и при необходимости может содержать набор данных с произношениями.
Выберите Browse и выберите файл набора данных. Вы можете выбрать только один.
Выберите язык для модели. Выберите язык, который говорится в файлах мультимедиа, которые планируется индексировать с помощью этой модели. Имя набора данных предварительно заполнено именем файла, но его можно изменить.
При необходимости можно добавить описание набора данных. Это может быть полезно для различения каждого набора данных, если ожидается несколько наборов данных.
Выберите Загрузить. Когда создание набора данных завершено, вы можете использовать его для обучения и создания новых моделей.

Проверить и обновить набор данных

Набор данных и его свойства можно просмотреть следующими способами:

Щелкнув по имени набора данных
Наведение курсора на набор данных
Выбор многоточия

Затем выберите Просмотр набора данных.

Затем можно просмотреть имя, описание, язык и состояние набора данных, а также следующие свойства:

Количество строк: указывает количество строк, успешно загруженных из общего числа строк в файле. Если весь файл загружен успешно, совпадение чисел (например, 10 из 10 нормализовано). Если числа не совпадают (например, 7 из 10 нормализованных), это означает, что только некоторые строки успешно загружены и остальные имели ошибки. Общие причины ошибок связаны с проблемами форматирования строки, например, отсутствием табуляции между каждым словом в файле с произношением. Проверка простого текста и данных о произношении для учебных статей должна помочь в обнаружении проблемы. Чтобы устранить проблему, просмотрите сведения об ошибке, содержащиеся в отчете. Выберите Просмотр отчёта, чтобы просмотреть детали ошибки, связанные со строками, которые не удалось загрузить успешно (errorKind). Вы также можете просмотреть ее, выбрав вкладку "Отчет ".

Идентификатор набора данных: каждый набор данных имеет уникальный GUID, который необходим при использовании API для операций, ссылающихся на набор данных.

Обычный текст (нормализованный) — содержит нормализованный текст загруженного файла набора данных. Нормализованный текст — это распознанный текст в незамысловатой форме без форматирования.

Изменить детали: Чтобы изменить имя или описание набора данных, наведите курсор на набор данных, выберите многоточие, а затем выберите Изменить детали. Затем вы сможете изменить название набора данных и его описание.

Примечание

Данные в наборе данных не могут быть отредактированы или обновлены после загрузки набора данных. Если вам нужно отредактировать или обновить данные в наборе данных, сначала загрузите этот набор, выполните изменения, сохраните файл и загрузите обновленный файл набора данных.

Скачать: чтобы скачать файл набора данных, при наведении указателя мыши на набор данных выберите многоточие и нажмите кнопку "Скачать". В качестве альтернативы, при просмотре набора данных вы можете выбрать загрузку и затем выбрать между скачиванием файла набора данных или отчета о загрузке в формате JSON.

Удаление. Чтобы удалить набор данных, при наведении указателя мыши на набор данных выберите многоточие и нажмите кнопку "Удалить".

Создать пользовательскую модель речи

Наборы данных используются в создании и обучении моделей. После создания набора данных обычного текста можно создать и начать работу с пользовательской моделью речи.

При создании и использовании пользовательских моделей речи следует учитывать следующие моменты:

Новая модель должна включать по крайней мере один набор данных в текстовом формате и может иметь несколько наборов данных в текстовом формате.
Включение набора данных с произношением необязательно, и может быть включён не более одного.
После создания модели нельзя добавлять в нее дополнительные наборы данных или вносить изменения в наборы данных. Если вам нужно добавить или изменить наборы данных, создайте новую модель.
Если вы индексируете видео с помощью пользовательской модели речи, а затем удаляете модель, это не повлияет на расшифровку, если вы не выполняете повторную индексацию.
Если вы удалили набор данных, используемый для обучения пользовательской модели, он продолжает использовать его до удаления модели речи. Причина заключается в том, что модель речи была обучена набором данных.
Если удалить пользовательскую модель, это не влияет на транскрибирование видеороликов, которые уже были индексированы с помощью модели.

Обучить модель

Примечание

Как только модель создана, наборы данных не могут быть добавлены. Модель может содержать только наборы данных одного языка.

Есть два способа обучить модель — через вкладку данных и через вкладку модели.

Обучение модели с помощью вкладки "Наборы данных"

Просмотрите список наборов данных.
Выберите набор данных в виде простого текста. Затем выберите символ "Обучение новой модели ".
Выберите Обучить новую модель.
Введите название для модели, язык, и при желании добавьте описание.
Выберите вкладку Наборы данных
Выберите наборы данных, которые нужно включить в модель.
Выберите Создать и обучить.

Обучение модели с помощью вкладки "Модели"

Перейдите на вкладку "Модели ".
Выберите значок обучить новую модель.
Выберите наборы данных, которые вы хотите включить в модель.
Введите название для модели, язык, и при желании добавьте описание.
Перейдите на вкладку "Наборы данных ".
Выберите наборы данных, которые нужно включить в модель.
Выберите Создать и обучить.

Просмотрите и обновите модель

Просмотр модели. Вы можете просматривать модель и ее свойства, выбрав имя модели или наведите указатель мыши на модель. Затем выберите многоточие (...), а затем выберите "Модель представления".

Затем на вкладке "Сведения" отображается имя, описание, язык и состояние модели, а также следующие свойства:

Идентификатор модели. Каждая модель имеет уникальный GUID, который необходим при использовании API для операций, ссылающихся на модель.

Создано: дата создания модели.

Изменить детали: Чтобы изменить имя или описание модели, наведите курсор на модель, выберите многоточие, а затем выберите Изменить детали. Затем вы сможете отредактировать название и описание модели.

Примечание

Изменить можно только название и описание модели. Если вы хотите внести изменения в его наборы данных или добавить новые наборы данных, необходимо создать новую модель.

Удаление. Чтобы удалить модель, при наведении указателя мыши на набор данных выберите многоточие и нажмите кнопку "Удалить".

Включенные наборы данных: выберите на вкладке "Включенные наборы данных", чтобы просмотреть наборы данных модели.

Используйте пользовательскую языковую модель при индексации видео

Для задач индексирования по умолчанию не используется пользовательская языковая модель, поэтому её необходимо выбрать во время загрузки индекса.

Во время процесса загрузки выберите источник вашей пользовательской языковой модели из раскрывающегося списка language.
Выберите Загрузить.

Те же шаги применимы, когда вы хотите переиндексировать видео с помощью пользовательской модели.

В следующей таблице приведены описания некоторых параметров, используемых с запросами модели речи:

Имя	тип	Описание
`displayName`	строка	Желаемое название набора данных/модели.
`locale`	строка	Код языка датасета/модели. Для полного списка см. Language support.
`kind`	целое число	0 для набора данных в текстовом формате, 1 для набора данных с произношением.
`description`	строка	Необязательное описание набора данных/модели.
`contentUrl`	URI	URL-адрес исходного файла, используемого при создании набора данных.
`customProperties`	объект	Необязательные свойства набора данных/модели.

Создайте набор данных для речевых записей

Вы можете сделать запрос к API Создания Набора Данных для Обучения Речи, чтобы создать набор данных для обучения модели речи. Отправьте файл, используемый для создания набора данных с этим запросом. Содержимое набора данных не может быть изменено после его создания.

Определите параметры в тексте запроса, включая URL-адрес для отправки текстового файла. Поля описания и пользовательских свойств являются необязательными. Ниже приведен пример текста запроса:

{
    "displayName": "Pronunciation Dataset",
    "locale": "en-US",
    "kind": "Pronunciation",
    "description": "This is a pronunciation dataset.",
    "contentUrl": https://contoso.com/location,
    "customProperties": {
        "tag": "Pronunciation Dataset Example"
    }
}

Пример ответа

{ 
    "id": "000000-0000-0000-0000-f58ac7002ae9", 
    "properties": { 
        "acceptedLineCount": 0, 
        "rejectedLineCount": 0, 
        "duration": null, 
        "error": null 
    }, 
    "displayName": "Contoso plain text", 
    "description": "VI dataset", 
    "locale": "en-US", 
    "kind": "Language", 
    "status": "Waiting", 
    "lastActionDateTime": "2023-02-28T13:24:27Z", 
    "createdDateTime": "2023-02-28T13:24:27Z", 
    "customProperties": null 
}

Создать модель речи

Вы можете сделать запрос API Create Speech Model для создания и обучения пользовательской модели речи. Используйте его для повышения точности транскрибирования видео. Он должен содержать хотя бы один набор данных с простым текстом. В дополнение могут быть наборы данных по произношению. Создайте его, включив все соответствующие файлы набора данных, так как наборы данных модели не могут быть добавлены или обновлены после создания.

Задайте параметры в теле запроса, включая список строк, которые описывают набор данных или наборы данных, которые должны быть включены в модель. Поля описания и пользовательских свойств являются необязательными. Ниже приведен пример текста запроса:

{
    "displayName": "Contoso Speech Model",
    "locale": "en-US",
    "datasets": ["ff3d2bc4-ab5a-4522-b599-b3d5ba768c75", "87c8962d-1d3c-44e5-a2b2-c696fddb9bae"],
    "description": "Contoso ads example model",
    "customProperties": {
        "tag": "Example Model"
    }
}

Пример ответа

{ 
    "id": "00000000-0000-0000-0000-85be4454cf", 
    "properties": { 
        "deprecationDates": { 
            "adaptationDateTime": null, 
            "transcriptionDateTime": "2025-04-15T00:00:00Z" 
        }, 
        "error": null 
    }, 
    "displayName": "Contoso speech model", 
    "description": "Contoso speech model for video indexer", 
    "locale": "en-US", 
    "datasets": ["00000000-0000-0000-0000-f58ac7002ae9"], 
    "status": "Processing", 
    "lastActionDateTime": "2023-02-28T13:36:28Z", 
    "createdDateTime": "2023-02-28T13:36:28Z", 
    "customProperties": null 
}

Получить набор данных речи

Вы можете использовать вызов API Получить набор данных речи для возврата информации о указанном наборе данных.

Пример ответа

{ 
    "id": "00000000-0000-0000-0000-f58002ae9", 
    "properties": { 
        "acceptedLineCount": 41, 
        "rejectedLineCount": 0, 
        "duration": null, 
        "error": null 
    }, 
    "displayName": "Contoso plain text", 
    "description": "VI dataset", 
    "locale": "en-US", 
    "kind": "Language", 
    "status": "Complete", 
    "lastActionDateTime": "2023-02-28T13:24:43Z", 
    "createdDateTime": "2023-02-28T13:24:27Z", 
    "customProperties": null 
}

Получить файлы наборов данных речи

Запрос Get Speech Dataset Files возвращает файлы и метаданные указанного набора данных.

Пример ответа

[{ 
    "datasetId": "00000000-0000-0000-0000-f58ac72a", 
    "fileId": "00000000-0000-0000-0000-cb190769c", 
    "name": "languagedata", 
    "contentUrl": "", 
    "kind": "LanguageData", 
    "createdDateTime": "2023-02-28T13:24:43Z", 
    "properties": { 
        "size": 1517 
    } 
}, { 
    "datasetId": "00000000-0000-0000-0000-f58ac72” 
    "fileId": "00000000-0000-0000-0000-2369192e", 
    "name": "normalized.txt", 
    "contentUrl": "", 
    "kind": "LanguageData", 
    "createdDateTime": "2023-02-28T13:24:43Z", 
    "properties": { 
        "size": 1517 
    } 
}, { 
    "datasetId": "00000000-0000-0000-0000-f58ac7", 
    "fileId": "00000000-0000-0000-0000-05f1e306", 
    "name": "report.json", 
    "contentUrl": "", 
    "kind": "DatasetReport", 
    "createdDateTime": "2023-02-28T13:24:43Z", 
    "properties": { 
        "size": 78 
    } 
}]

Получите указанные наборы данных учетной записи

Вы можете использовать запрос API Получить наборы данных речи, чтобы вернуть информацию обо всех указанных наборах данных учетных записей.

Пример ответа

[{ 
    "id": "00000000-0000-0000-abf5-4dad0f", 
    "properties": { 
        "acceptedLineCount": 41, 
        "rejectedLineCount": 0, 
        "duration": null, 
        "error": null 
    }, 
    "displayName": "test", 
    "description": "string", 
    "locale": "en-US", 
    "kind": "Language", 
    "status": "Complete", 
    "lastActionDateTime": "2023-02-27T08:42:02Z", 
    "createdDateTime": "2023-02-27T08:41:39Z", 
    "customProperties": null 
}]

Получить указанный речевой модуль

Вы можете использовать запрос API модели распознавания речи для возврата сведений для указанной модели.

Пример ответа

{ 
    "id": "00000000-0000-0000-0000-5685be445", 
    "properties": { 
        "deprecationDates": { 
            "adaptationDateTime": null, 
            "transcriptionDateTime": "2025-04-15T00:00:00Z" 
        }, 
        "error": null 
    }, 
    "displayName": "Contoso speech model", 
    "description": "Contoso speech model for video indexer", 
    "locale": "en-US", 
    "datasets": ["00000000-0000-0000-0000-f58ac7002"], 
    "status": "Complete", 
    "lastActionDateTime": "2023-02-28T13:36:38Z", 
    "createdDateTime": "2023-02-28T13:36:28Z", 
    "customProperties": null 
}

Получить указанные речевые модели для аккаунта

Вы можете использовать запрос API "Получить модели речи " для возврата сведений для всех моделей в указанной учетной записи.

Пример ответа

[{ 
    "id": "00000000-0000-0000-0000-5685be445", 
    "properties": { 
        "deprecationDates": { 
            "adaptationDateTime": null, 
            "transcriptionDateTime": "2025-04-15T00:00:00Z" 
        }, 
        "error": null 
    }, 
    "displayName": "Contoso speech model", 
    "description": "Contoso speech model for video indexer", 
    "locale": "en-US", 
    "datasets": ["00000000-0000-0000-0000-f58ac7002a"], 
    "status": "Complete", 
    "lastActionDateTime": "2023-02-28T13:36:38Z", 
    "createdDateTime": "2023-02-28T13:36:28Z", 
    "customProperties": null 
}]

Удаление набора данных речи

Для удаления указанного набора данных можно использовать запрос API набора данных для удаления указанного набора данных. Любая модель, обученная с удаленным набором данных, продолжает быть доступна, пока модель не будет удалена. Нельзя удалить набор данных, пока он используется для индексации или обучения.

Пример ответа

Контент не возвращается, если набор данных успешно удален.

Удаление модели речи

Для удаления указанной модели речи можно использовать запрос API удаления модели речи. Вы не можете удалить модель, пока она используется для индексации или обучения.

Ответ

Когда модель речи успешно удалена, возвращаемого контента нет.

Поделиться через

Настройте речевую модель

Предпосылки

Создание набора данных

Проверить и обновить набор данных

Создать пользовательскую модель речи

Обучить модель

Обучение модели с помощью вкладки "Наборы данных"

Обучение модели с помощью вкладки "Модели"

Просмотрите и обновите модель

Используйте пользовательскую языковую модель при индексации видео

Обратная связь

Дополнительные ресурсы