Данные, конфиденциальность и безопасность системы преобразования текста в речь

• Ввод текста для синтеза речи. Это текст, который вы выбираете и отправляете в службу речи для создания звуковых выходных данных с помощью набора предварительно созданных нейронных голосов, или для создания предварительно созданного аватара, который произносит звук, созданный из предварительно созданных или пользовательских нейронных голосов.

• Файл признания заслуг диктора. Клиентам требуется отправить определенное записанное заявление, произнесенное талантом голоса, в котором они признают, что вы будете использовать свой голос для создания синтетических голосов.

  Примечание

  При подготовке скрипта записи убедитесь, что вы включаете необходимое заявление подтверждения для дублера. Инструкцию можно найти на нескольких языках here. Язык заявления о подтверждении должен совпадать с языком аудиозаписывающих учебных данных.

• Обучающие данные (включая аудиофайлы и связанные расшифровки текста). Это включает аудиозаписи от голосового исполнителя, который согласился использовать свой голос для обучения модели и соответствующих текстовых расшифровок. В пользовательском проекте нейронного голоса Pro вы можете предоставить свои собственные текстовые расшифровки звука или использовать функцию автоматической транскрипции речи, доступную в Speech Studio, для создания текстовой транскрипции звука. Как аудиозаписи, так и файлы транскрибирования текста будут использоваться в качестве данных обучения голосовой модели. В пользовательском проекте lite нейронного голоса вам будет предложено записать голос, говорящий Microsoft определенный скрипт в Speech Studio. Расшифровки текста не требуются для личных функций голоса.

• Текст в качестве тестового скрипта. Вы можете отправить собственные текстовые скрипты для оценки и тестирования качества пользовательской модели нейронного голоса, создав примеры синтеза речи. Это не относится к личным функциям голосовой связи.

• Ввод текста для синтеза речи. Это текст, который вы выбираете и отправляете в службу преобразования текста в речь для создания аудиовыхода с помощью вашего пользовательского нейронного голоса.

• Записанный файл заявления о признании таланта аватара. Клиентам требуется отправить определенное видеозаписываемое заявление, произнесенное талантом аватара, в котором они признают, что вы будете использовать свой голос и изображение для создания моделей аватара.

  Примечание

  При создании плана записи видео убедитесь, что вы включаете требуемое заявление о подтверждении для записи таланта, работающего с аватарами. Инструкцию можно найти на нескольких языках here. Язык заявления о подтверждении должен совпадать с языком данных обучающих видеозаписей.

  Видео с заявлением о подтверждении не обязательно должно быть в тех же условиях (например, в записи среды, одежды аватара), как видеоматериалы учебных данных, но лицо актера должно быть полностью открыто и без какой-либо окклюзии.

• Обучающие данные (включая аудиофайлы, изображения и видеофайлы). К ним относятся видео и аудиозаписи от таланта аватара, который согласился использовать свое изображение и голос для обучения модели. Нам не требуется транскрибирование текста звука в видео.

• Текст в качестве тестового скрипта. Вы можете отправить собственные текстовые скрипты для оценки и тестирования качества пользовательской модели аватара, создав искусственные примеры видео аватара.

• Ввод текста для синтеза речи. Это текст, который вы выбираете и отправляете в службу распознавания речи для создания выходных данных звука и видео с помощью пользовательского аватара.

Для предварительно созданного голоса или аватара нет дополнительных разделов.

Проверка зарегистрированного заявления подтверждения

Microsoft требует, чтобы клиенты загружали аудиофайл в Speech Studio с записанным заявлением профессионального артиста озвучивания, в котором он подтверждает, что его голос будет использован клиентом для создания синтетической копии. Microsoft может использовать технологию Microsoft для распознавания текста и речи для транскрибирования этой записанной инструкции подтверждения на текст и проверки соответствия содержимого записи предварительно определенным скриптом, предоставленным Microsoft. Эта подтверждающая запись, а также информация о таланте, передаваемая вами с аудио, используется для создания профиля голосового таланта. При инициировании пользовательского обучения нейронного голосового обучения необходимо связать данные обучения с соответствующим профилем голосового исполнителя.

Microsoft также может обрабатывать биометрические голосовые подписи из записанного файла с подтверждением голоса актёра и из случайных звуков из обучающего набора данных, чтобы подтвердить, что голосовая подпись в записи подтверждения и записи обучающих данных соответствуют с разумной достоверностью с помощью Azure AI Speaker Verification. Подпись голоса также может называться "шаблоном голоса" или "голосовой печатью" и является числовым вектором, который представляет характеристики голоса человека, извлеченные из аудиозаписей человека, выступающего. Эта техническая защита предназначена для предотвращения неправильного использования пользовательского нейронного голоса, например, запретить клиентам обучать голосовые модели с аудиозаписями и использовать модели для подпуги голоса человека без их знаний или согласия.

Подписи голоса используются Microsoft исключительно в целях проверки говорящего или в противном случае для расследования неправильного использования служб.

Дополнение для защиты данных продуктов и услуг Microsoft («DPA») устанавливает обязательства клиентов и Microsoft в отношении обработки и безопасности данных клиентов и персональных данных в рамках Azure и включается посредством ссылки в корпоративное соглашение клиентов для служб Azure. обработка данных Microsoft в этом разделе регулируется в разделе "Законные бизнес-операции на основе законных интересов" дополнения к защите данных.

Обучение пользовательской модели нейронного голоса

Обучающие данные (звук речи) клиенты, которые передаются в Speech Studio, предварительно обрабатываются с помощью автоматизированных средств для проверки качества, включая проверку формата данных, оценку произношения, обнаружение шума, сопоставление сценариев и т. д. Затем данные обучения импортируются в компонент обучения модели пользовательской голосовой платформы. Во время обучения обучающие данные (как голосовой звук, так и транскрибирование текста) распакуются в детализированные сопоставления голосовых акустических и текстовых элементов, таких как последовательность фонем. Благодаря дальнейшему сложному моделированию машинного обучения, служба создает голосовую модель, которая затем может использоваться для создания аудио, похожего на голосовой талант, и даже может генерироваться на различных языках, используя записанные данные для обучения. Голосовая модель — это компьютерная модель синтеза речи, которая может имитировать уникальные голосовые характеристики конкретного оратора. Он представляет набор параметров в двоичном формате, который не является удобочитаемым и не содержит аудиозаписи.

Обучающие данные клиента используются только для разработки пользовательских голосовых моделей клиента и не используются Microsoft для обучения или улучшения любых Microsoft текстовых моделей речи.

Синтез речи и создание аудиоконтентного содержимого

После создания голосовой модели, ее можно использовать для создания звукового содержимого с помощью службы преобразования текста в речь с двумя разными параметрами.

Для синтеза речи в режиме реального времени вы отправляете входной текст в службу распознавания речи через пакет SDK TTS или API RESTful. Текст для речи обрабатывает входной текст и возвращает выходные звуковые файлы содержимого в режиме реального времени в приложение, которое сделал запрос.

Для асинхронного синтеза длинного звука (пакетного синтеза) вы отправляете входные текстовые файлы в пакетную службу распознавания речи через API long Audio , чтобы асинхронно создавать звуки дольше 10 минут (например, аудиокниги или лекции). В отличие от синтеза, выполняемого с помощью API преобразования текста в речь, ответы не возвращаются в режиме реального времени с API для длинного аудио. Звуки создаются асинхронно, и вы можете получить доступ и скачать синтезированные звуковые файлы, когда они будут доступны из пакетной службы синтеза.

Вы также можете использовать настраиваемую голосовую модель для создания звукового содержимого с помощью средства создания содержимого без кода Audio Content Creation и сохранить входное или выходное звуковое содержимое с помощью средства в хранилище Azure.

Обработка данных для пользовательской нейронной голосовой связи (предварительная версия)

Облегчённый пользовательский нейронный голос — это тип проекта, находящийся на этапе предварительной версии, который позволяет записать 20–50 образцов голоса в Speech Studio и создать облегчённую пользовательскую модель нейронного голоса для демонстрации и тестирования. Скрипт записи и скрипт тестирования предварительно определены Microsoft. Созданная вами синтетическая голосовая модель с помощью пользовательского нейронного голоса lite может быть развернута и использована в более широком масштабе только в случае, если вы подаете заявку и получаете полный доступ к пользовательскому нейронному голосу (в соответствии с применимыми условиями).

Искусственный голос и связанные звукозаписи, которые вы отправляете через Speech Studio, автоматически будут удалены в течение 90 дней, если вы не получите полный доступ к пользовательскому нейронному голосу и решите развернуть искусственный голос, в этом случае вы будете контролировать длительность его хранения. Если голосовой актер хотел бы, чтобы искусственный голос и связанные аудиозаписи были удалены в течение 90 дней, он может удалить их напрямую на портале или связаться со своим предприятием, чтобы сделать это.

Кроме того, перед развертыванием любой из моделей синтетического голоса, созданных с помощью пользовательского проекта нейронного голоса lite, голосовой актёр должен предоставить дополнительную запись, в которой они признают, что синтетический голос будет использоваться в других целях, помимо демонстрации и оценки.

Обработка данных для API личной голосовой связи (предварительная версия)

Личный голос позволяет клиентам создавать искусственный голос с помощью короткого образца голоса человека. Описанный выше файл инструкции словесного подтверждения требуется от каждого пользователя, использующего интеграцию в приложении. Microsoft может обрабатывать биометрические голосовые подписи из записанного файла голосового заявления каждого пользователя и их записанного примера обучения (например, запроса), чтобы подтвердить, что голосовая подпись в записи подтверждения и записи данных обучения совпадает с достаточной степенью уверенности с помощью Azure AI Speaker Verification.

Пример обучения будет использоваться для создания голосовой модели. Затем модель голосовой связи можно использовать для создания речи с текстовыми входными данными, предоставленными службе через API, без дополнительного развертывания.

Проверка заявления о подтверждении видео

Microsoft требует, чтобы заказчики предоставили видеофайл с записанным заявлением о согласии от своего таланта-аватара, подтверждающего, что заказчик будет использовать изображение и голос таланта для создания пользовательского аватара. Microsoft убедится, что содержимое в записи подтверждения соответствует предварительно заданному скрипту, предоставленному Microsoft.

Microsoft может сравнить лицо и голос актера, изображающего аватар, в записанном видео-файле подтверждения с случайно выбранными видео из соответствующих обучающих наборов данных, чтобы подтвердить, что человек в видеозаписях обучающего набора данных совпадает с человеком в видео-файле подтверждения.

Только если предоставляются файл видео подтверждения и видеоматериалы для обучения и проходят проверку идентификации актера, Microsoft приступит к обучению пользовательской модели аватара.

Обучение пользовательской модели аватара для преобразования текста в речь

Клиенты передают свои данные для обучения в Speech Studio через портал для настроек аватаров. Данные предварительно обрабатываются с помощью автоматизированных средств для проверки качества, включая формат данных, размер файла и общий объем. Затем данные обучения импортируются в компонент обучения модели портала по настройке аватаров. Во время обучения данные для обучения (видеоизображения и звуковой дорожки) преобразуются в детализированные модели движений губ и акустики голоса. Благодаря дальнейшему комплексному машинному обучению сервис создаёт модель аватара, которая затем может использоваться для создания видео, похожего на внешний вид аватара, и может быть создана так, чтобы голос в нём совпадал с голосом на разных языках на основе данных обучения.

Данные обучения клиента используются только для разработки его пользовательских моделей аватаров и не применяются Microsoft для обучения или улучшения любых моделей текст-за-речь аватаров Microsoft.

входные данные для синтеза речи: Microsoft не сохраняет и не хранит текст, который вы предоставляете с API синтеза речи в режиме реального времени. Скрипты, предоставляемые через Long Audio API для преобразования текста в речь или через пакетный API для создания аватара из текста в речь, хранятся в хранилище Azure для обработки запроса на пакетный синтез. Входной текст можно удалить через API удаления в любое время.

Воспроизведение аудио и видео контента: Microsoft не сохраняет аудио- или видеоконтент, созданный с помощью API синтеза в режиме реального времени. Если вы используете видеоперевод или API Long Audio для преобразования текста в речь для пакетного API с аватаром, выходной звуковой или видеоконтент сохраняется в облачном хранилище Azure. Эти звуки или видео можно удалить в любое время с помощью операции удаления .

входные данные для синтеза речи: Microsoft не сохраняет и не хранит текст, который вы предоставляете с API синтеза речи в режиме реального времени. Скрипты, предоставляемые через Long Audio API для преобразования текста в речь или через пакетный API для создания аватара из текста в речь, хранятся в хранилище Azure для обработки запроса на пакетный синтез. Входной текст можно удалить через API удаления в любое время.

Воспроизведение аудио и видео контента: Microsoft не сохраняет аудио- или видеоконтент, созданный с помощью API синтеза в режиме реального времени. Если вы используете видеоперевод или API Long Audio для преобразования текста в речь для пакетного API с аватаром, выходной звуковой или видеоконтент сохраняется в облачном хранилище Azure. Эти звуки или видео можно удалить в любое время с помощью операции удаления .

Записанное подтверждающее заявление и данные верификации говорящего: голосовые подписи используются Microsoft исключительно в целях проверки говорящего или в других случаях, необходимых для расследования неправильного использования служб. Подписи голоса будут храниться только в течение времени, необходимого для проверки подлинности говорящего, что может происходить время от времени. Microsoft может потребовать проверку перед обучением или переобучением пользовательских нейронных голосовых моделей в Speech Studio или в других случаях. Microsoft сохранит записанный файл с заявлением о подтверждении и данные о профиле диктора до тех пор, пока это необходимо для поддержания безопасности и целостности Azure Speech.

Пользовательские нейронные голосовые модели: При сохранении эксклюзивных прав на использование ваших пользовательских нейронных голосовых моделей, Microsoft может независимо сохранять копию этих моделей по мере необходимости. Microsoft может использовать пользовательскую модель нейронной голосовой связи исключительно для защиты безопасности и целостности средств Foundry.

Microsoft будет защищать и хранить копии записанных признательных заявлений каждого участника озвучивания и пользовательских нейронных голосовых моделей с той же высокой безопасностью, которую она использует для других служб Azure. Дополнительные сведения см. в Microsoft Центре управления безопасностью.

Training data: Вы отправляете данные обучения голоса для создания голосовых моделей с помощью Speech Studio, которые будут сохраняться по умолчанию в служба хранилища Azure (дополнительные сведения см. в разделе о шифровании данных служба хранилища Azure в состоянии покоя). Вы можете получить доступ к любой из обучающих данных и удалять их в Speech Studio, используемых для создания голосовых моделей.

Вы можете управлять хранилищем обучающих данных с помощью BYOS (перенос собственного хранилища). С помощью этого метода хранения данные обучения могут быть доступны только в целях обучения голосовой модели и в противном случае будут храниться через BYOS.

входные данные для синтеза речи: Microsoft не сохраняет и не хранит текст, который вы предоставляете с API синтеза речи в режиме реального времени. Скрипты, предоставляемые через Long Audio API для преобразования текста в речь или через пакетный API для создания аватара из текста в речь, хранятся в хранилище Azure для обработки запроса на пакетный синтез. Входной текст можно удалить через API удаления в любое время.

Воспроизведение аудио и видео контента: Microsoft не сохраняет аудио- или видеоконтент, созданный с помощью API синтеза в режиме реального времени. Если вы используете видеоперевод или API Long Audio для преобразования текста в речь для пакетного API с аватаром, выходной звуковой или видеоконтент сохраняется в облачном хранилище Azure. Эти звуки или видео можно удалить в любое время с помощью операции удаления .

Данные записанного заявления о подтверждении: Microsoft может сравнить видео заявления о подтверждении и обучающие данные, прежде чем разрешать тренировку или повторную тренировку пользовательских моделей аватаров. Microsoft будет сохранять файл с записанным заявлением о подтверждении и данные профиля талантов аватара столько, сколько необходимо для обеспечения безопасности и целостности инструментов Foundry.

Пользовательские модели аватаров для преобразования текста в речь: При сохранении эксклюзивных прав на использование вашей пользовательской модели аватара Microsoft может независимо хранить копию вашей пользовательской модели аватара до тех пор, пока это необходимо. Microsoft может использовать пользовательскую модель аватара для защиты безопасности и целостности средств Foundry.

Microsoft будет защищать и хранить копию записанного заявления подтверждения таланта аватара и пользовательских моделей аватара с тем же высокоуровневым уровнем безопасности, который используется для других служб Azure. Дополнительные сведения см. в Microsoft Центре управления безопасностью.

Training data: обучающие данные, отправленные с помощью Speech Studio, будут сохраняться и храниться в хранилище Azure по умолчанию (см. шифрование служба хранилища Azure для данных в состоянии покоя для подробностей). Вы можете получить доступ к вашим обучающим данным и удалить их, которые использовались для создания моделей аватаров в Speech Studio.