Что такое внедренная речь?

Для встроенных приложений C# установите следующие пакеты SDK для C#:

Для встраиваемых приложений C++ установите следующие пакеты речевого SDK для C++:

Выбор целевой среды

dependencies {
    implementation 'com.microsoft.cognitiveservices.speech:client-sdk-embedded:1.43.0@aar'
}

Для встроенных приложений на Python установите встраиваемый вариант пакета Speech SDK для Python, который включает среду выполнения для локального вывода:

pip install azure-cognitiveservices-speech-embedded

Speech SDK для Go — это cgo оболочка, поэтому для встроенных речевых функций требуются нативные библиотеки Speech SDK на этапе сборки и во время выполнения. Скачайте встраиваемый вариант пакета нативного Speech SDK для Linux, который включает расширения среды выполнения на устройстве:

1. Выберите каталог для файлов Speech SDK и задайте переменную среды SPEECHSDK_ROOT, чтобы она указывала на него:

   export SPEECHSDK_ROOT="$HOME/speechsdk-embedded"
   mkdir -p "$SPEECHSDK_ROOT"
   

2. Скачайте и распакуйте встроенные двоичные файлы Speech SDK:

   wget -O SpeechSDK-Embedded-Linux.tar.gz https://aka.ms/csspeech/linuxembeddedbinary
   tar --strip 1 -xzf SpeechSDK-Embedded-Linux.tar.gz -C "$SPEECHSDK_ROOT"
   

   Внедренный пакет — это супермножество стандартного (облачного) пакета. В него входят базовая библиотека (Microsoft.CognitiveServices.Speech.core), встроенные расширения среды выполнения для распознавания и синтеза, а также их зависимость от ONNX Runtime. Установите только встроенный пакет, а не оба пакета.

3. Наведите указатель cgo на собственные заголовки и библиотеки и добавьте папку библиотеки в путь загрузчика. Замените <architecture> на архитектуру процессора вашего ЦП: x64, arm64 или arm32.

   export CGO_CFLAGS="-I$SPEECHSDK_ROOT/include/c_api"
   export CGO_LDFLAGS="-L$SPEECHSDK_ROOT/lib/<architecture> -lMicrosoft.CognitiveServices.Speech.core"
   export LD_LIBRARY_PATH="$SPEECHSDK_ROOT/lib/<architecture>:$LD_LIBRARY_PATH"
   

4. Добавьте в проект модуль Go для пакета SDK распознавания речи:

   go get github.com/Microsoft/cognitive-services-speech-sdk-go
   

// Provide the location of the models and voices.
List<string> paths = new List<string>();
paths.Add("C:\\dev\\embedded-speech\\stt-models");
paths.Add("C:\\dev\\embedded-speech\\tts-voices");
var embeddedSpeechConfig = EmbeddedSpeechConfig.FromPaths(paths.ToArray());

// For speech to text
embeddedSpeechConfig.SetSpeechRecognitionModel(
    "Microsoft Speech Recognizer en-US FP Model V8",
    Environment.GetEnvironmentVariable("EMBEDDED_SPEECH_MODEL_LICENSE"));

// For text to speech
embeddedSpeechConfig.SetSpeechSynthesisVoice(
    "Microsoft Server Speech Text to Speech Voice (en-US, JennyNeural)",
    Environment.GetEnvironmentVariable("EMBEDDED_SPEECH_MODEL_LICENSE"));
embeddedSpeechConfig.SetSpeechSynthesisOutputFormat(SpeechSynthesisOutputFormat.Riff24Khz16BitMonoPcm);

// Provide the location of the models and voices.
vector<string> paths;
paths.push_back("C:\\dev\\embedded-speech\\stt-models");
paths.push_back("C:\\dev\\embedded-speech\\tts-voices");
auto embeddedSpeechConfig = EmbeddedSpeechConfig::FromPaths(paths);

// For speech to text
embeddedSpeechConfig->SetSpeechRecognitionModel((
    "Microsoft Speech Recognizer en-US FP Model V8",
    GetEnvironmentVariable("EMBEDDED_SPEECH_MODEL_LICENSE"));

// For text to speech
embeddedSpeechConfig->SetSpeechSynthesisVoice(
    "Microsoft Server Speech Text to Speech Voice (en-US, JennyNeural)",
    GetEnvironmentVariable("EMBEDDED_SPEECH_MODEL_LICENSE"));
embeddedSpeechConfig->SetSpeechSynthesisOutputFormat(SpeechSynthesisOutputFormat::Riff24Khz16BitMonoPcm);

// Provide the location of the models and voices.
List<String> paths = new ArrayList<>();
paths.add("C:\\dev\\embedded-speech\\stt-models");
paths.add("C:\\dev\\embedded-speech\\tts-voices");
var embeddedSpeechConfig = EmbeddedSpeechConfig.fromPaths(paths);

// For speech to text
embeddedSpeechConfig.setSpeechRecognitionModel(
    "Microsoft Speech Recognizer en-US FP Model V8",
    System.getenv("EMBEDDED_SPEECH_MODEL_LICENSE"));

// For text to speech
embeddedSpeechConfig.setSpeechSynthesisVoice(
    "Microsoft Server Speech Text to Speech Voice (en-US, JennyNeural)",
    System.getenv("EMBEDDED_SPEECH_MODEL_LICENSE"));
embeddedSpeechConfig.setSpeechSynthesisOutputFormat(SpeechSynthesisOutputFormat.Riff24Khz16BitMonoPcm);

import os
import azure.cognitiveservices.speech as speechsdk

# Provide the location of the models and voices.
paths = [
    "C:\\dev\\embedded-speech\\stt-models",
    "C:\\dev\\embedded-speech\\tts-voices",
]
embedded_speech_config = speechsdk.EmbeddedSpeechConfig.from_paths(paths)

# For speech to text
embedded_speech_config.set_speech_recognition_model(
    "Microsoft Speech Recognizer en-US FP Model V8",
    os.environ.get("EMBEDDED_SPEECH_MODEL_LICENSE"))

# For text to speech
embedded_speech_config.set_speech_synthesis_voice(
    "Microsoft Server Speech Text to Speech Voice (en-US, JennyNeural)",
    os.environ.get("EMBEDDED_SPEECH_MODEL_LICENSE"))
embedded_speech_config.set_speech_synthesis_output_format(
    speechsdk.SpeechSynthesisOutputFormat.Riff24Khz16BitMonoPcm)

import (
    "os"

    "github.com/Microsoft/cognitive-services-speech-sdk-go/speech"
)

// Provide the location of the models and voices.
paths := []string{
    "/dev/embedded-speech/stt-models",
    "/dev/embedded-speech/tts-voices",
}
embeddedSpeechConfig, err := speech.NewEmbeddedSpeechConfigFromPaths(paths)
if err != nil {
    // Handle the error.
}
defer embeddedSpeechConfig.Close()

// For speech to text
embeddedSpeechConfig.SetSpeechRecognitionModel(
    "Microsoft Speech Recognizer en-US FP Model V8",
    os.Getenv("EMBEDDED_SPEECH_MODEL_LICENSE"))

// For text to speech
embeddedSpeechConfig.SetSpeechSynthesisVoice(
    "Microsoft Server Speech Text to Speech Voice (en-US, JennyNeural)",
    os.Getenv("EMBEDDED_SPEECH_MODEL_LICENSE"))

Вы можете найти готовые к использованию внедренных примеров речи на GitHub. Примечания к проектам с нуля см. в конкретных примерах документации:

• C# (.NET 8.0)
• C# (.NET MAUI)

Вы можете найти готовые к использованию внедренных примеров речи на GitHub. Примечания к проектам с нуля см. в конкретных примерах документации:

• C++

Вы можете найти готовые к использованию внедренных примеров речи на GitHub. Примечания к проектам с нуля см. в конкретных примерах документации:

• Java (JRE)
• Java для Android

Готовые к использованию примеры встроенной речи можно найти на GitHub. Примечания по проектам, созданным с нуля, см. в документации для конкретных примеров:

• Python

Вы можете найти готовые к использованию внедренные образцы речи для распознавания речи, синтеза и перевода на GitHub. Сведения о предварительных требованиях, настройке нативной библиотеки, установке модели и голоса, а также о флагах сборки см. в руководстве по встроенным примерам.