Подключите Azure Speech в инструментах Foundry к агенту

Azure Speech в Foundry Tools позволяет агенту преобразовывать речь в текст и генерировать аудио речи из текста. Вы подключаете инструмент, добавляя удаленный сервер протокола контекста модели (MCP) к вашему агенту в службе агента Foundry.

Необходимые условия

• Подписка Azure. Создайте его бесплатно.
• Ресурс Microsoft Foundry, созданный в поддерживаемом регионе. Ресурс Foundry включает речевые возможности и используется сервером MCP для обработки речи. Сервер SPEECH MCP доступен во всех регионах, где служба агента Foundry поддерживает средства MCP.

Поддержка использования

В этой статье показано, как подключить средство на портале Foundry.

Если вы хотите работать с кодом, см. Подключение к серверам протокола контекста модели для примеров SDK в Python, C#, и JavaScript.

Безопасность и конфиденциальность

Обратите внимание на ключ ресурса службы "Речь" и URL-адреса SAS хранилища в качестве секретов:

• Не вставляйте ключи или URL-адреса SAS в запросы агента, расшифровки чатов, снимки экрана или системы контроля версий.
• Используйте самое короткое практическое время истечения срока действия SAS.
• Ограничьте URL-адреса SAS до минимально необходимого ресурса (например, одного контейнера).
• Регулярно обновляйте ключи как метод обеспечения безопасности или немедленно, если вы подозреваете их компрометацию.

Настройка хранилища

Требуется учетная запись служба хранилища Azure для хранения входных звуковых файлов для обработки речи в текст и получения выходных звуковых файлов из обработки текста в речь. Создание учетной записи служба хранилища Azure.

Убедитесь, что у учетной записи пользователя назначена роль вкладчика данных хранилища Blob для учетной записи хранилища, чтобы иметь возможность создавать URL-адреса SAS в дальнейшем.

Создайте один или несколько контейнеров BLOB для хранения входных и выходных аудиофайлов.

Создание агента

1. Перейдите к Microsoft Foundry.
2. В правом верхнем меню выберите Сборка.
3. В левой области выберите "Агенты" и выберите "Создать агент".
4. Введите имя и описание, а затем нажмите кнопку "Создать".

Подключите инструмент Azure Speech к вашему агенту

1. В вашем агенте откройте песочницу агента.

2. В разделе "Сервис" выберите "> - Добавить новое средство.

3. На вкладке "Выбор инструмента" выберите вкладку "Каталог ".

4. Найдите сервер Azure Speech MCP Server, выберите его, а затем выберите Create.

5. На странице установки заполните следующие поля:

   • Параметры: введите имя ресурса Foundry, созданного в предварительных требованиях.>foundry-resource-name
   • Авторизация —>Bearer (ключ API): введите ключ из ресурса Foundry. Вы можете использовать KEY1 или KEY2 на странице ключей и конечных точек на портале Azure.
   • > X-Blob-Container-Url: создайте URL-адрес SAS для контейнера хранилища с разрешениями на чтение и запись, а затем введите его здесь. Служба хранит выходные файлы аудио в этом контейнере.

6. Выберите "Подключиться" , чтобы добавить удаленный сервер MCP службы "Речь" в качестве средства для агента.

   После подключения средство "Речь" появится в списке средств агента со статусом "подключено".

Тестирование средства Azure распознавания речи

В чате площадки агента, введите What can you do?.

Агент перечисляет свои доступные возможности, включая недавно добавленные речевые функции, такие как преобразование речи в текст и текста в речь. Это подтверждает успешное подключение удаленного сервера MCP службы "Речь".

Тестирование речи в текст

Средство "Речь" может преобразовать звуковой файл в текст. Звуковой файл можно хранить в Хранилище BLOB-объектов Azure и сделать доступным по URL-адресу SAS, или это может быть любой общедоступный URL-адрес к звуковому файлу.

1. Отправьте звуковой файл в контейнер хранилища BLOB-объектов Azure.
2. Создайте URL-адрес SAS для файла:
   1. Выберите отправленный звуковой файл.
   2. В разделе "Свойства" выберите "Создать SAS".
   3. Задайте самое короткое практическое время истечения срока действия, а затем выберите "Создать маркер SAS" и URL-адрес.
3. Скопируйте URL-адрес SAS. Затем используйте его в одном из следующих примеров запросов в окне чата агента:
   • Recognize this English audio file located in <blob SAS URL>
   • Recognize the audio file located in <blob SAS URL> with these phrase hints: "Azure, OpenAI, Cognitive Services, Lucy" to improve accuracy.
   • Convert this audio file located in <blob SAS URL> into text and summarize it for me.
   • Recognize this French audio file located in <blob SAS URL> with detailed output format.
   • Recognize this Hindi audio file located in <blob SAS URL> and remove profanity.
4. Просмотр выходного текста в окне чата.

Тестирование преобразования текста в речь

Начните новый чат в игровой площадке агента и используйте одну из приведенных ниже подсказок. Замените заполнитель собственным текстом:

• Convert text to speech: <your text to speak>
• Synthesize speech from "<your text to speak>"
• Generate speech audio from text "<your text to speak>"
• Convert text to speech with Chinese language: <your text to speak>
• Synthesize speech with voice en-US-JennyNeural from text <your text to speak>

Выходной звук сохраняется в виде файла WAV в контейнере объектов BLOB. В окне чата отображается звуковая ссылка. Выберите его для прослушивания выходных данных.

Устранение неполадок

Дальнейшие действия

• Дополнительные сведения о подключениях MCP: подключение к серверам протокола контекста модели.
• Руководство по использованию инструментов: Лучшие практики использования инструментов.

На портале Foundry (new) доступны следующие функции распознавания речи:

• Сервер речевой MCP
• Краткое руководство по преобразованию речи в текст
• Краткое руководство по переводу текста в речь
• Краткое руководство по текстовому аватару для преобразования текста в речь
• Быстрый запуск голосовых функций