Быстрый старт: Преобразование речи в текст с помощью модели Azure OpenAI Whisper

Необходимые условия

• Подписка Azure: Создайте бесплатно.
• Ресурс Azure OpenAI с моделью преобразования речи в текст, развернутой в поддерживаемом регионе . Дополнительные сведения см. в разделе Создание ресурса и развертывание модели с помощью Azure OpenAI.
• Убедитесь, что вы назначены по крайней мере роль участника службы Cognitive Services для ресурса Azure OpenAI.
• Пример звукового файла. Вы можете получить пример звука, например wikipediaOcelot.wav, из репозитория пакета SDK Azure Speech in Foundry Tools SDK на GitHub.

Установка

Получение ключа и конечной точки

Чтобы успешно вызвать Azure OpenAI, требуется endpoint и key.

Перейдите к ресурсу на портале Azure. Конечная точка и ключи можно найти в разделе "Управление ресурсами". Скопируйте конечную точку и ключ доступа, так как требуется для проверки подлинности вызовов API. Вы можете использовать либо KEY1, либо KEY2. Всегда наличие двух ключей позволяет безопасно поворачивать и повторно создавать ключи без нарушения работы службы.

Переменные среды

Создайте и назначьте переменные постоянной среды для ключа и конечной точки.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

Создание запроса и ответа REST API

В оболочке bash выполните следующую команду. Необходимо заменить YourDeploymentName на имя развертывания, выбранное при развертывании модели Whisper. Имя развертывания не обязательно совпадает с именем модели. При вводе имени модели возникает ошибка, если вы не выбрали имя развертывания, идентичное имени базовой модели.

curl $AZURE_OPENAI_ENDPOINT/openai/deployments/YourDeploymentName/audio/transcriptions?api-version=2024-02-01 \
 -H "api-key: $AZURE_OPENAI_API_KEY" \
 -H "Content-Type: multipart/form-data" \
 -F file="@./wikipediaOcelot.wav"

Первая строка предыдущей команды с примером конечной точки будет выглядеть следующим образом:

curl https://aoai-docs.openai.azure.com/openai/deployments/{YourDeploymentName}/audio/transcriptions?api-version=2024-02-01 \

Проверка выходных данных

Ответ содержит text поле с полным транскрибированием звукового файла. Вы увидите выходные данные, аналогичные приведенному ниже. При возникновении ошибок:

• Убедитесь, что имя вашего развертывания точно совпадает
• Проверьте правильность пути к звуковому файлу
• Убедитесь, что ключ API и конечная точка валидны

Выход

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Необходимые условия

• Подписка Azure. Вы можете создать его бесплатно.
• Ресурс Azure OpenAI с моделью преобразования речи в текст, развернутой в поддерживаемом регионе . Дополнительные сведения см. в разделе Создание ресурса и развертывание модели с помощью Azure OpenAI.
• Python 3.8 или более поздней версии
• Azure CLI.
• Пример звукового файла. Вы можете получить пример звука, например wikipediaOcelot.wav, из репозитория пакета SDK Azure Speech in Foundry Tools SDK на GitHub.

Установка

Получение ключа и конечной точки

Чтобы успешно вызвать Azure OpenAI, требуется endpoint и key.

Перейдите к ресурсу на портале Azure. Конечная точка и ключи можно найти в разделе "Управление ресурсами". Скопируйте конечную точку и ключ доступа, так как они понадобятся вам для аутентификации вызовов API. Вы можете использовать либо KEY1, либо KEY2. Всегда наличие двух ключей позволяет безопасно поворачивать и повторно создавать ключи без нарушения работы службы.

Переменные среды

Создайте и назначьте переменные постоянной среды для ключа и конечной точки.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

Создание среды Python

Создайте каталог для проекта и перейдите к нему из терминала или командной строки.

mkdir whisper-quickstart; cd whisper-quickstart

Создайте и активируйте виртуальную среду для этого проекта.

python -m venv .venv
.venv\Scripts\activate

python3 -m venv .venv
source .venv/bin/activate

Установите клиентская библиотека OpenAI Python с помощью:

pip install openai

pip install openai==0.28.1

Создание приложения Python

1. Создайте файл Python с именем quickstart.py. Затем откройте его в предпочитаемом редакторе или интегрированной среде разработки.

2. Замените содержимое quickstart.py следующим кодом. Измените код, чтобы добавить имя развертывания:

    import os
    from openai import AzureOpenAI
        
    client = AzureOpenAI(
        api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
        api_version="2024-02-01",
        azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT")
    )
    
    deployment_id = "YOUR-DEPLOYMENT-NAME-HERE" #This will correspond to the custom name you chose for your deployment when you deployed a model."
    audio_test_file = "./wikipediaOcelot.wav"
    
    result = client.audio.transcriptions.create(
        file=open(audio_test_file, "rb"),            
        model=deployment_id
    )
    
    print(result)

    import openai
    import time
    import os
    
    openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")
    openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT")  # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    openai.api_type = "azure"
    openai.api_version = "2024-02-01"
    
    model_name = "whisper"
    deployment_id = "YOUR-DEPLOYMENT-NAME-HERE" #This will correspond to the custom name you chose for your deployment when you deployed a model."
    audio_language="en"
    
    audio_test_file = "./wikipediaOcelot.wav"
    
    result = openai.Audio.transcribe(
                file=open(audio_test_file, "rb"),            
                model=model_name,
                deployment_id=deployment_id
            )
    
    print(result)

Запустите приложение с помощью python команды в файле быстрого запуска:

python quickstart.py

Проверка выходных данных

Ответ содержит text поле с полным транскрибированием звукового файла. Вы увидите выходные данные, аналогичные приведенному ниже. При возникновении ошибок:

• Убедитесь, что имя вашего развертывания точно совпадает
• Проверьте правильность пути к звуковому файлу
• Убедитесь, что ключ API и конечная точка валидны

Выход

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Необходимые условия

• Подписка Azure. Вы можете создать его бесплатно.
• Ресурс Azure OpenAI с моделью преобразования речи в текст, развернутой в поддерживаемом регионе . Дополнительные сведения см. в разделе Создание ресурса и развертывание модели с помощью Azure OpenAI.
• .NET пакет SDK 8.0

предварительные требования Microsoft Entra ID

Для рекомендуемой проверки подлинности без ключа с помощью Microsoft Entra ID необходимо:

• Установите Azure CLI, который используется для безключевой аутентификации в Microsoft Entra ID.
• Назначьте Cognitive Services User роль вашей учетной записи пользователя. Роли можно назначить на портале Azure в разделе Access control (IAM)>Add role assignment.

Установка

1. Создайте новую папку whisper-quickstart и перейдите в папку быстрого запуска с помощью следующей команды:

   mkdir whisper-quickstart && cd whisper-quickstart
   

2. Создайте консольное приложение со следующей командой:

   dotnet new console
   

3. Установите клиентскую библиотеку OpenAI .NET с помощью команды dotnet add package:

   dotnet add package Azure.AI.OpenAI
   

4. Для рекомендуемой безключевой аутентификации с Microsoft Entra ID установите пакет Azure.Identity с помощью:

   dotnet add package Azure.Identity
   

5. Для рекомендуемой безключевой аутентификации с помощью Microsoft Entra ID выполните вход в Azure с помощью следующей команды:

   az login
   

Получение сведений о ресурсе

Чтобы проверить подлинность приложения с помощью ресурса OpenAI Azure, необходимо получить следующие сведения:

Запустите быстрый старт

Пример кода в этом кратком руководстве использует Microsoft Entra ID для рекомендуемой аутентификации без использования ключей. Если вы предпочитаете использовать ключ API, можно заменить DefaultAzureCredential объект AzureKeyCredential объектом.

AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new DefaultAzureCredential()); 

AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new AzureKeyCredential(key));

Чтобы запустить инструкцию по быстрому старту, выполните следующие действия.

1. Замените содержимое Program.cs следующим кодом и обновите значения заполнителей собственными.

   using Azure;
   using Azure.AI.OpenAI;
   using Azure.Identity; // Required for Passwordless auth
   
   
   string deploymentName = "whisper";
   
   string endpoint = Environment.GetEnvironmentVariable("AZURE_OPENAI_ENDPOINT") ?? "https://<your-resource-name>.openai.azure.com/";
   string key = Environment.GetEnvironmentVariable("AZURE_OPENAI_API_KEY") ?? "<your-key>";
   
   // Use the recommended keyless credential instead of the AzureKeyCredential credential.
   AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new DefaultAzureCredential()); 
   //AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new AzureKeyCredential(key));
   
   var audioFilePath = "<audio file path>"
   
   var audioClient = openAIClient.GetAudioClient(deploymentName);
   
   var result = await audioClient.TranscribeAudioAsync(audioFilePath);
   
   Console.WriteLine("Transcribed text:");
   foreach (var item in result.Value.Text)
   {
       Console.Write(item);
   }
   

2. Запустите приложение с помощью команды dotnet run или кнопки запуска в верхней части Visual Studio:

   dotnet run
   

Проверка выходных данных

Транскрибирование возвращает ответ со свойством Text , содержащим полное транскрибирование звукового файла. Вы увидите выходные данные, аналогичные приведенному ниже. При возникновении ошибок:

• Убедитесь, что имя вашего развертывания точно совпадает
• Проверьте правильность пути к звуковому файлу
• Убедитесь, что ключ API и конечная точка валидны

Выход

Если вы используете пример аудиофайла, в консоли отобразится следующий текст:

The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, 
Mexico, and Central and South America. This medium-sized cat is characterized by solid 
black spots and streaks on its coat, round ears...

Исходный код | Пакет (npm) | Примеры

Необходимые условия

• Подписка Azure — Создайте бесплатно
• Node.js LTS версии
• Azure CLI используется для проверки подлинности без пароля в локальной среде разработки, создайте необходимый контекст, выполнив вход с помощью Azure CLI.
• Ресурс Azure OpenAI с моделью преобразования речи в текст, развернутой в поддерживаемом регионе . Дополнительные сведения см. в разделе Создание ресурса и развертывание модели с помощью Azure OpenAI.

предварительные требования Microsoft Entra ID

Для рекомендуемой проверки подлинности без ключа с помощью Microsoft Entra ID необходимо:

• Установите Azure CLI, который используется для безключевой аутентификации в Microsoft Entra ID.
• Назначьте Cognitive Services User роль вашей учетной записи пользователя. Роли можно назначить на портале Azure в разделе Access control (IAM)>Add role assignment.

Установка

1. Создайте новую папку synthesis-quickstart и перейдите в папку быстрого запуска с помощью следующей команды:

   mkdir synthesis-quickstart && cd synthesis-quickstart
   

2. Создайте package.json с помощью следующей команды:

   npm init -y
   

3. Установите клиентскую библиотеку OpenAI для JavaScript с помощью:

   npm install openai
   

4. Для рекомендуемой проверки подлинности без пароля:

   npm install @azure/identity
   

Получение сведений о ресурсе

Чтобы проверить подлинность приложения с помощью ресурса OpenAI Azure, необходимо получить следующие сведения:

Создание примера приложения

Вы можете получить примеры аудиофайлов, например wikipediaOcelot.wav, из репозитория Foundry Tools SDK для Azure Speech на GitHub.

Выход

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Исходный код | Пакет (npm) | Примеры

Необходимые условия

• Подписка Azure — Создайте бесплатно
• Node.js LTS версии
• Typescript
• Azure CLI используется для проверки подлинности без пароля в локальной среде разработки, создайте необходимый контекст, выполнив вход с помощью Azure CLI.
• Ресурс Azure OpenAI с моделью преобразования речи в текст, развернутой в поддерживаемом регионе . Дополнительные сведения см. в разделе Создание ресурса и развертывание модели с помощью Azure OpenAI.

предварительные требования Microsoft Entra ID

Для рекомендуемой проверки подлинности без ключа с помощью Microsoft Entra ID необходимо:

• Установите Azure CLI, который используется для безключевой аутентификации в Microsoft Entra ID.
• Назначьте Cognitive Services User роль вашей учетной записи пользователя. Роли можно назначить на портале Azure в разделе Access control (IAM)>Add role assignment.

Настройка

1. Создайте новую папку whisper-quickstart и перейдите в папку быстрого запуска с помощью следующей команды:

   mkdir whisper-quickstart && cd whisper-quickstart
   

2. Создайте package.json с помощью следующей команды:

   npm init -y
   

3. Обновите package.json на ECMAScript с помощью следующей команды:

   npm pkg set type=module
   

4. Установите клиентскую библиотеку OpenAI для JavaScript с помощью:

   npm install openai
   

5. Для рекомендуемой проверки подлинности без пароля:

   npm install @azure/identity
   

Получение сведений о ресурсе

Чтобы проверить подлинность приложения с помощью ресурса OpenAI Azure, необходимо получить следующие сведения:

Создание примера приложения

Вы можете получить примеры аудиофайлов, например wikipediaOcelot.wav, из репозитория Foundry Tools SDK для Azure Speech на GitHub.

Выход

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Необходимые условия

• Подписка Azure — Создайте бесплатно
• Вы можете использовать либо последнюю версию, PowerShell 7, либо Windows PowerShell 5.1.
• Ресурс Azure OpenAI с моделью преобразования речи в текст, развернутой в поддерживаемом регионе . Дополнительные сведения см. в разделе Создание ресурса и развертывание модели с помощью Azure OpenAI.

Настройка

Получение ключа и конечной точки

Чтобы успешно вызвать Azure OpenAI, требуется endpoint и key.

Перейдите к ресурсу на портале Azure. Конечная точка и ключи можно найти в разделе "Управление ресурсами". Скопируйте конечную точку и ключ доступа, так как они понадобятся вам для аутентификации вызовов API. Вы можете использовать либо KEY1, либо KEY2. Всегда наличие двух ключей позволяет безопасно поворачивать и повторно создавать ключи без нарушения работы службы.

Переменные среды

Создайте и назначьте переменные постоянной среды для ключа и конечной точки.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

Создание приложения PowerShell

Выполните следующую команду. Необходимо заменить YourDeploymentName на имя развертывания, выбранное при развертывании модели Whisper. Имя развертывания не обязательно совпадает с именем модели. При вводе имени модели возникает ошибка, если вы не выбрали имя развертывания, идентичное имени базовой модели.

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YourDeploymentName' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

# Header for authentication
$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$form = @{ file = get-item -path './wikipediaOcelot.wav' }

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/audio/transcriptions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Form $form -Method Post -ContentType 'multipart/form-data'
return $response.text

Вы можете получить примеры аудиофайлов, например wikipediaOcelot.wav, из репозитория Foundry Tools SDK для Azure Speech на GitHub.

Выход

The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs.