Голоса высокого разрешения в службе Azure Speech

Azure Speech в инструментах Foundry продолжает продвигать технологию преобразования текста в речь с нейронными голосами высокого качества (HD). Наши голоса HD понимают содержимое, автоматически обнаруживают эмоции во входном тексте и корректируют тон речи в режиме реального времени, чтобы соответствовать тону. Они поддерживают согласованные голосовые персоны, обеспечивая повышенную экспрессивность, естественность и контроль.

Обзор голосовой связи HD

Служба "Речь Azure" предлагает две расширенные модели голосовой связи HD, оптимизированные для различных вариантов использования:

Ключевые функции голосов HD

Ниже приведены основные функции голосовых функций Azure Speech HD.

Сравнение голосов Azure Speech HD с другими голосами Azure для преобразования текста в речь

Чем отличаются голоса Azure Speech HD от других голосов Azure? Ниже приведено подробное сравнение:

Поддерживаемые HD-голоса Azure Speech

Служба "Речь Azure" предоставляет два набора голосов HD с различными архитектурами моделей:

Голосы Dragon HD

Значения голосовой связи Azure Speech HD находятся в формате voicename:DragonHD:version. Имя перед двоеточием, как en-US-Ava, представляет собой имя голосовой персоны и его исходный языковой стандарт.

Чтобы убедиться, что вы используете последнюю версию базовой модели, которую мы предоставляем, используйте версию LatestNeural .

Например, для пользователя en-US-Ava можно указать следующее:

• en-US-Ava:DragonHDLatestNeural: всегда использует последнюю версию базовой модели DragonHD.

В следующей таблице перечислены доступные голоса DragonHD:

Поддерживаются следующие стили и теги паралингвистики в HD-голосах.

Дракон HD Omni голоса

Dragon HD Omni — это единая модель следующего поколения Azure Speech, которая объединяет предварительно созданные и созданные ИИ голосов в единую гибкую платформу. Он включает более 700 голосов с повышенной экспрессивностью, многоязычной поддержкой, расширенным элементом управления стилем и автоматическим прогнозированием стиля.

Ключевые возможности Dragon HD Omni

• 700+ Голоса: включает большинство предыдущих голосов с улучшенным качеством и 300+ ИИ созданных голосов с различными характеристиками
• Расширенный элемент управления стилем: автоматическое прогнозирование стиля с помощью описаний естественного языка (изначально доступно для en-US-Ava и en-US-Andrew)
• Многоязычная поддержка: все голоса Dragon HD Omni поддерживают несколько языков с поддержкой автоматического обнаружения языков и поддержки тегов SSML <lang>
• Расширенная просодия: улучшенная естественность с автоматической контекстной адаптацией
• Поддержка событий на границах слов: обеспечивает точную синхронизацию на уровне слов для синхронизированных приложений

Поддерживаемые стили для Dragon HD Omni

Следующие стили и паралингвистические теги поддерживаются в голосах HDOmni

Соглашение об именовании голоса Dragon HD Omni

Дракон HD Omni голоса следуют шаблону именования: languagelocale-voicename:DragonHDOmniLatestNeural Этот формат голосового имени можно использовать, добавив суффикс :DragonHDOmniLatestNeural , чтобы быстро найти версию Omni:

Пример:

Ознакомьтесь с полным списком голосов Dragon HD Omni.

Голоса Dragon HD Flash

Голоса HD Flash — это оптимизированные варианты некоторых голосов DragonHD, которые в настоящее время поддерживают текст на китайском (zh-CN) и английском (en-US) языках. Эти голоса обеспечивают повышенную естественность и доступны в стандартных регионах Azure (eastus, westeurope, ), southeastasiaа также в регионах Китая (chinaeast2, chinanorth2, ). chinanorth3

Ниже приведен полный список доступных голосов HD Flash и поддерживаемых стилей

Использование голосовых функций Azure Speech HD

Вы можете использовать HD-голоса с той же службой SDK "Речь" и REST API, что и для обычных голосов.

Ниже приведены некоторые ключевые моменты, которые следует учитывать при использовании голосовых функций Azure Speech HD:

• Языковой локаль голоса: Локаль в названии голоса указывает его исходный язык и регион.
• Базовые модели:
  • Голоса HD поставляются с базовой моделью, которая понимает вводимый текст и соответственно прогнозирует манеру речи. Вы можете указать требуемую модель (например, DragonHDLatestNeural) в зависимости от доступности каждого голоса.
• Использование SSML: Чтобы указать голос в SSML, используйте формат voicename:basemodel:version. Имя перед двоеточием, как de-DE-Seraphina, представляет собой имя голосовой персоны и его исходный языковой стандарт. Базовая модель отслеживается версиями в последующих обновлениях.
• Параметр температуры:
  • Значение температуры — это плавающее значение от 0 до 1, влияющее на случайность выходных данных. Вы также можете регулировать параметр температуры, чтобы контролировать изменение результатов. Меньше случайности дает более стабильные результаты, в то время как более случайность предлагает разнообразие, но меньше согласованности.
  • Низкая температура приводит к меньшей случайности, что ведет к более предсказуемым результатам. Более высокая температура увеличивает случайность, что позволяет получить более разнообразные выходные данные. Температура по умолчанию установлена на 1.0.

Ниже приведен пример использования голосов Azure Speech HD в SSML:

<speak version='1.0' xmlns='http://www.w3.org/2001/10/synthesis' xmlns:mstts='https://www.w3.org/2001/mstts' xml:lang='en-US'>
<voice name='en-US-Ava:DragonHDLatestNeural' parameters='temperature=0.8'>Here is a test</voice>
</speak>

Расширенные функции Dragon HD Omni

Управление стилем с помощью Express-As

Dragon HD Omni поддерживает расширенное управление стилем, используя элемент mstts:express-as и описания на естественном языке. Ниже приведен пример:

<speak version="1.0" xmlns="http://www.w3.org/2001/10/synthesis"
       xmlns:mstts="http://www.w3.org/2001/mstts" xml:lang="en-US">
  <voice name="en-us-ava:DragonHDOmniLatestNeural">
    <mstts:express-as style="sick">
      Ugh… I'm not feeling so great today. My head's pounding, and even my voice sounds like it's been through a blender. I think I need to lie down for a bit… maybe some soup would help.
    </mstts:express-as>
  </voice>
</speak>

Поддержка нескольких языков

Все голоса Dragon HD Omni поддерживают несколько языков с автоматическим обнаружением языка. Вы также можете использовать <lang xml:lang> тег для явного указания языка и акцента:

<speak version="1.0" xmlns="http://www.w3.org/2001/10/synthesis" 
        xmlns:mstts="http://www.w3.org/2001/mstts" xml:lang="en-US">
  <voice name="en-us-ava:DragonHDOmniLatestNeural">
    <lang xml:lang="fr-FR">
      Bonjour ! Ce matin, j'ai pris un café au jardin du Luxembourg. Il faisait frais, mais très agréable. Ensuite, j'ai acheté une baguette et quelques macarons. Paris est vraiment charmant.
    </lang>
  </voice>
</speak>

События границы слова

Dragon HD Omni поддерживает события границ слов, обеспечивая точное определение времени на уровне слов для синхронизированных приложений, таких как караоке, субтитры в режиме реального времени и интерактивные голосовые взаимодействия.

При срабатывании события границы слова он предоставляет:

• Текст: слово, произнесенное
• AudioOffset: смещение времени в аудиопотоке (миллисекундах)
• TextOffset: позиция слова в входном тексте

Пример на Python с событиями границ слов

import azure.cognitiveservices.speech as speechsdk

def word_boundary_cb(evt):
    print(f"Word: '{evt.text}', AudioOffset: {evt.audio_offset / 10000}ms, TextOffset: {evt.text_offset}")

speech_config = speechsdk.SpeechConfig(subscription="YourSubscriptionKey", region="YourServiceRegion")
synthesizer = speechsdk.SpeechSynthesizer(speech_config=speech_config)

synthesizer.synthesis_word_boundary.connect(word_boundary_cb)

ssml = """
<speak version='1.0' xmlns='http://www.w3.org/2001/10/synthesis'
       xmlns:mstts='http://www.w3.org/2001/mstts' xml:lang='en-US'>
  <voice name='en-us-ava:DragonHDOmniLatestNeural'>
    Hello Azure, welcome to Dragon HD Omni!
  </voice>
</speak>
"""

result = synthesizer.speak_ssml_async(ssml).get()

Образец вывода:

Word: 'Hello', AudioOffset: 110.0ms, TextOffset: 182
Word: 'Azure', AudioOffset: 590.0ms, TextOffset: 188
Word: ',', AudioOffset: 1110.0ms, TextOffset: 193
Word: 'welcome', AudioOffset: 1270.0ms, TextOffset: 195
Word: 'to', AudioOffset: 1750.0ms, TextOffset: 203
Word: 'Dragon HD Omni', AudioOffset: 1910.0ms, TextOffset: 206
Word: '!', AudioOffset: 2750.0ms, TextOffset: 216

Расширенная настройка параметров для Dragon HD Omni

Dragon HD Omni поддерживает расширенную настройку параметров для настройки выходных данных голоса для различных сценариев.

Справочник параметров

Стратегии настройки

Для экспрессивности и стабильности:

• Более высокие значения для temperature, top_pи top_k приводит к более экспрессивной, эмоционально разнообразной речи
• Более низкие значения создают более стабильные и прогнозируемые выходные данные
• Рекомендация: Оставляйте top_p равным temperature для наилучших результатов

Для скорости и контекстной релевантности:

• cfg_scale влияет на то, как быстро голос говорит и насколько хорошо он соответствует контексту
  • Более высокие значения (1.8–2.0): более быстрая речь с более строгой контекстной релевантностью
  • Более низкие значения (1.0–1.2): медленная речь с меньшим контекстным выравниванием

Рекомендуемая таблица настройки

Примеры использования параметров

Корректировка одного параметра:

<speak version="1.0" xmlns="http://www.w3.org/2001/10/synthesis" 
        xmlns:mstts="http://www.w3.org/2001/mstts" xml:lang="en-US">
  <voice name="en-us-ava:DragonHDOmniLatestNeural" parameters="top_p=0.8">
    Hello Azure!
  </voice>
</speak>

Настройка нескольких параметров:

<speak version="1.0" xmlns="http://www.w3.org/2001/10/synthesis" 
        xmlns:mstts="http://www.w3.org/2001/mstts" xml:lang="en-US">
  <voice name="en-us-ava:DragonHDOmniLatestNeural" parameters="top_p=0.8;top_k=22;temperature=0.7;cfg_scale=1.2">
    Hello Azure! Welcome to Dragon HD Omni!
  </voice>
</speak>

Поддерживаемые и неподдерживаемые элементы SSML для голосовых элементов Azure Speech HD

Язык разметки синтеза речи (SSML) с входным текстом определяет структуру, содержимое и другие характеристики текста для вывода речи. Например, вы можете использовать SSML, чтобы определить абзац, предложение, паузу или перерыв, или тишину. Вы можете обернуть текст тегами событий, такими как закладка или визема, которые ваше приложение обрабатывает позже.

Голоса HD в Azure Speech поддерживают различные элементы SSML, в зависимости от модели.

• Голоса DragonHD: поддержка подмножества элементов SSML (см. таблицу ниже)
• Голоса Dragon HD Omni: поддержка дополнительных элементов, включая управление стилем и события на границах слов

Подробные сведения о поддерживаемых и неподдерживаемых элементах SSML для голосовых элементов Azure Speech HD см. в следующей таблице. Для получения инструкций по использованию элементов SSML обратитесь к документации Языка разметки синтеза речи (SSML).

Параметр улучшения произношения

Параметр enhancedPronunciation обеспечивает улучшенную обработку произношения во время синтеза речи. Когда установлено значение true, голоса NeuralHD применяют дополнительные оптимизации произношения, чтобы улучшить четкость и правильность произношения, особенно для сложных, неоднозначных или нестандартных текстов.

Если включена функция улучшения произношения, служба придаёт приоритет точности произношения путем применения расширенной лингвистической обработки во время синтеза. Это может помочь улучшить то, как система интерпретирует данные:

• Правильные существительные, имена и необычные слова
• Акронимы, аббревиатуры и текст смешанного регистра
• Слова с несколькими возможными произношениями в зависимости от контекста Этот параметр предназначен для дополнения существующих элементов управления произношением, таких как теги произношения на основе SSML и лексиконы, и не заменяет их. функция enhancePronunciation по умолчанию отключена для сохранения прогнозируемых, обратно совместимых с речью выходных данных и может быть включена, если разработчики хотят, чтобы служба применяла дополнительные оптимизации произношения для улучшения ясности и естественности.

Рекомендуемые варианты использования

Включите улучшение произношения в сценариях со структурированным или техническим содержимым для конкретного домена.

Выбор между DragonHD и Dragon HD HD Omni

Обе модели голосовой связи HD обеспечивают высококачественный синтез, но они служат разным вариантам использования:

Когда следует использовать каждую модель

Выберите Dragon HD, если вы:

• Требуется определенный голосовой образ для конкретных языков для обеспечения высокого качества.
• Создание корпоративных приложений службы клиентов
• Требуется точно настроенное управление с помощью температуры и расширенных параметров

Выберите Dragon HD Omni, если вы:

• Требуется гибкость с множеством вариантов голосовой связи
• Создают разнообразные материалы (аудиокниги, подкасты, рассказы)
• Хотите улучшить текущее качество нейронных голосов, но для ваших локалей пока не поддерживается HD модель.
• Требуется широкий спектр лиц для различных вариантов использования

Связанный контент

• Попробуйте функцию преобразования текста в речь в службе Azure Speech
• Дополнительные сведения об использовании SSML и событий