Рекомендации по обучению модели речи

Благодаря интеграции Индексатора видео Azure AI с службами Microsoft Azure AI Speech, Универсальная языковая модель используется в качестве базовой модели, которая обучена данными, принадлежащими Microsoft, и отражает часто используемый разговорный язык. Базовая модель предварительно обучена диалектами и фонетиками, представляющими различные общие домены. Базовая модель хорошо работает в большинстве сценариев распознавания речи.

Однако иногда транскрибирование базовой модели не точно обрабатывает некоторое содержимое. В таких ситуациях настраиваемая модель речи может использоваться для улучшения распознавания словаря или произношения, относящегося к вашему содержимому, предоставляя текстовые данные для обучения модели. С помощью процесса создания и адаптации моделей настройки речи содержимое можно правильно транскрибировать. Дополнительная плата не взимается для использования настройки речи индексатора видео в Azure AI.

Когда следует использовать настраиваемую модель речи

Если содержимое содержит конкретную терминологию отрасли или когда результаты транскрибирования имеют неточности, можно создать и обучить пользовательскую модель речи. Он может распознать термины и улучшить качество транскрибирования. Стоит рассматривать возможность создания пользовательской модели только в том случае, если ожидается, что соответствующие слова и имена будут повторяться в содержимом, которое планируется индексировать. Обучение модели иногда является итеративным процессом. Может оказаться, что после первоначального обучения результаты могут нуждаться в улучшении и потребовать дополнительного обучения, см. в разделе "Улучшение пользовательской модели" для рекомендаций.

Если в содержимом редко используются определенные слова или имена, вам не нужна пользовательская модель речи. Вместо этого вы можете вручную редактировать и исправлять расшифровку непосредственно на веб-сайте Индексатора видео Azure. Для более частых или доменных терминов рекомендуется создать пользовательскую модель речи для повышения точности транскрибирования. Дополнительные сведения об изменении и исправлении расшифровок см. на веб-сайте Индексатора видео в Azure AI.

Список языков, поддерживающих пользовательские модели и произношение, см. в столбцах "Настройка и произношение" таблицы поддержки языка в службе поддержки языка в Индексаторе видео в Azure AI Video Indexer.

Обучающие наборы данных

При индексировании видео можно использовать настраиваемую модель речи для улучшения транскрибирования. Модели обучаются путем загрузки их наборами данных, которые могут включать данные обычного текста и данные произношения.

Текст, используемый для тестирования и обучения пользовательской модели, должен включать примеры из разнообразного набора содержимого и сценариев, которые вы хотите распознать модель. При создании и обучении наборов данных следует учитывать следующие факторы:

• Включите текст, охватывающий типы словесных высказываний, которые пользователи произносят при взаимодействии с вашей моделью. Например, если ваше содержимое в первую очередь связано с спортом, обучите модель с содержимым, содержащим терминологию и предметы, связанные с спортом.
• Включите все формы вариантности речи, которые должна распознать модель. Многие факторы могут изменять речь, включая акценты, диалекты и смешение языков.
• Включайте только данные, относящиеся к содержимому, которое планируется транскрибировать. В том числе другие данные могут повредить качество распознавания в целом.

Типы наборов данных

Существует два типа набора данных, которые можно использовать для настройки. Чтобы определить, какой набор данных следует использовать для решения проблем, см. следующую таблицу:

Обычные текстовые данные для обучения

Набор данных, включая предложения обычного текста связанного текста, можно использовать для улучшения распознавания слов и фраз, относящихся к домену. Связанные текстовые предложения могут уменьшить количество ошибок замены, связанных с неправильным распознаванием общих и специализированных терминов, показывая их в контексте. Слова, зависящие от области, могут быть нераспространенными или искусственными словами, но их произношение должно быть простым для распознавания.

Лучшие практики для наборов данных в формате plain text

• Предоставьте предложения, связанные с доменом, в одном текстовом файле. Вместо использования полных предложений можно отправить список слов. Однако, хотя он добавляет их в словарь, он не учит системе, как слова обычно используются. При наличии полных или частичных речевых фрагментов (предложений или фраз, которые обычно говорят пользователи) языковая модель может изучать новые слова и особенности их применения. Пользовательская языковая модель полезна не только для добавления новых слов в систему, но и для корректировки вероятности использования известных слов в вашем приложении. Система обучается лучше при использовании полных фраз.
• Используйте текстовые данные, близкие к ожидаемым речевым фрагментам. Речевые фрагменты необязательно должны быть полными или грамматически правильными, но они должны точно отражать речевой ввод, который модель должна распознавать.
• Попробуйте использовать каждое предложение или ключевое слово в отдельной строке.
• Чтобы увеличить вес термина (например названия продуктов) добавьте несколько предложений, которые включают этот термин.
• Для распространенных фраз, используемых в вашем контенте, предоставление множества примеров полезно, потому что это позволяет системе распознавать эти термины. 
• Избегайте включения необычных символов (~, # @ % &), так как они будут удалены. Предложения, в которых они отображаются, также удаляются.
• Избегайте использования входных данных большого объема, таких как сотни тысяч предложений, потому что это разбавляет эффект ускорения.

Используйте эту таблицу, чтобы обеспечить правильное форматирование своего файла с набором данных обычного текста.

Попробуйте выполнить следующие рекомендации в файлах обычного текста:

• Избегайте повторения символов, слов или групп слов более трех раз, таких как yeah yeah yeah yeah, поскольку служба может удалять строки с слишком большим количеством повторений.
• Не используйте специальные символы или символы UTF-8 выше U+00A1.
• URI отклоняются.
• Для некоторых языков (например, японского или корейского) импорт больших объемов текстовых данных может занять очень много времени или привести к истечению времени ожидания. Рассмотрите возможность разделения передаваемых данных на несколько текстовых файлов до 20 000 строк каждый.

Данные произношения для обучения

Вы можете добавить в настраиваемую модель речи настраиваемый набор данных произношения, чтобы улучшить распознавание неправильных слов, фраз или имен.

Наборы данных произношения должны включать речвую форму слова или фразы и распознаваемую отображаемую форму. Разговорная форма — это фонетическая последовательность, например Triple A. Он может состоять из букв, слов, слогов или сочетания всех трех. Распознанная отображаемая форма — это как вы хотите, чтобы слово или фраза отображались в транскрипции. Некоторые примеры приведены в следующей таблице:

Наборы данных произношения предоставляются в одном текстовом файле. Включите речевые фрагменты и настраиваемое произношение для каждого из них. Каждая строка в файле должна начинаться с распознанной формы, за которой через знак табуляции следует фонетическая последовательность, разделённая пробелами.

3CPO    three c p o 
CNTK    c n t k 
IEEE    i triple e 

При создании и обучении наборов данных произношения следует учитывать следующие моменты:

Мы не рекомендуем использовать пользовательские файлы произношения для изменения произношения распространенных слов.

Если существует несколько вариантов того, как слово или имя неправильно транскрибируется, рассмотрите возможность использования некоторых или всех из них при обучении набора данных произношения. Например, если Robert упоминается пять раз в видео и транскрибируется как Robort, Ropertи robbers. Вы можете попробовать включить все варианты в файл, как показано в следующем примере, но осторожно относитесь к обучению с реальными словами, поскольку если, скажем, robbers упоминается в видео, это транскрибируется как robbers.

Robert Roport
Robert Ropert
Robert Robbers

Модель произношения не предназначена для работы с акронимами. Например, если вы хотите, чтобы "доктор" был транскрибирован как "д-р", это нельзя достичь с помощью модели произношения.

Ознакомьтесь со следующей таблицей, чтобы убедиться, что файлы наборов данных с вариантами произношения допустимы и правильно отформатированы.

Улучшите ваши пользовательские модели

Обучение модели произношения может быть итеративным процессом, так как вы можете получить больше знаний о произношении темы после первоначального обучения и оценки результатов модели. Существующие модели не могут быть редактированы или изменены. Для обучения модели итеративно требуется создание и отправка наборов данных с дополнительными сведениями. Обучение новых пользовательских моделей на основе новых наборов данных также необходимо. Затем вы будете переиндексировать файлы мультимедиа с помощью новой пользовательской модели речи.

Пример:

Предположим, вы планируете индексировать спортивное содержимое и ожидаете предвидеть проблемы с точностью расшифровки терминов спорта, а также в именах игроков и тренеров. Перед индексированием вы создали модель речи с набором данных обычного текста. Он содержит соответствующую терминологию спорта и набор данных произношения с некоторыми именами игроков и тренеров. Вы индексируете несколько видео с помощью пользовательской модели речи и при просмотре созданной расшифровки обнаруживаете, что хотя терминология транскрибируется правильно, многие имена пишутся неверно. Вы можете выполнить следующие действия, чтобы повысить производительность в будущем:

1. Просмотрите расшифровку и запишите все неправильно транскрибированные имена. Они могут попасть в две группы:

   • Имена отсутствуют в файле произношения.
   • Хотя имена есть в файле произношения, они всё равно неправильно транскрибируются.

2. Создайте файл набора данных. Скачайте файл набора данных произношения или измените сохраненный исходный файл локально. Для группы A добавьте новые имена в файл в том виде, как они были неправильно транскрибированы (Майкл Майкл). Для группы B добавьте дополнительные строки, каждая строка должна содержать правильное имя и уникальный пример неверной транскрипции. Например:

   Stephen Steven
Stephen Steafan
Stephen Steevan

3. Отправьте этот файл в виде нового файла набора данных.

4. Создайте новую модель речи и добавьте исходный набор данных обычного текста и новый файл набора данных для произношения.

5. Переиндексировать видео с помощью новой модели речи.

6. При необходимости повторите шаги 1–5, пока результаты не будут удовлетворительными.

Связанный контент

• Настройка языковой модели