Краткое начало: преобразование речи в текст с помощью модели Whisper от Azure OpenAI

Предварительные условия

• Подписка Azure — создайте бесплатную учетную запись.

• Ресурс Azure OpenAI, развернутый в поддерживаемом регионе и с поддерживаемой моделью.

• Убедитесь, что вам назначена по крайней мере роль Cognitive Services Contributor для ресурса Azure OpenAI.

• Скачайте примеры данных из GitHub , если у вас нет собственных данных.

Настройка

Получение ключа и конечной точки

Чтобы успешно выполнить вызов к Azure OpenAI, вам потребуется конечная точка и ключ.

Перейдите к своему ресурсу на портале Azure. Конечную точку и ключи можно найти в разделе Управление ресурсами. Скопируйте конечную точку и ключ доступа, так как они потребуются для проверки подлинности вызовов API. Вы можете использовать KEY1 или KEY2. Наличие двух ключей позволяет безопасно менять и повторно создавать ключи без прерывания работы службы.

Переменные среды

Создайте и назначьте переменные постоянной среды для ключа и конечной точки.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

Создание запроса и ответа REST API

В оболочке bash выполните следующую команду. Необходимо заменить YourDeploymentName на имя развертывания, которое вы выбрали при развертывании модели Whisper. Имя развертывания не обязательно совпадает с именем модели. При вводе имени модели возникает ошибка, если вы не выбрали имя развертывания, идентичное имени базовой модели.

curl $AZURE_OPENAI_ENDPOINT/openai/deployments/YourDeploymentName/audio/transcriptions?api-version=2024-02-01 \
 -H "api-key: $AZURE_OPENAI_API_KEY" \
 -H "Content-Type: multipart/form-data" \
 -F file="@./wikipediaOcelot.wav"

Первая строка предыдущей команды с примером конечной точки будет выглядеть следующим образом:

curl https://aoai-docs.openai.azure.com/openai/deployments/{YourDeploymentName}/audio/transcriptions?api-version=2024-02-01 \

Вы можете получить примеры аудиофайлов, например wikipediaOcelot.wav, из репозитория пакета SDK службы "Речь" azure AI на сайте GitHub.

Выходные данные

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Предварительные условия

• Подписка Azure. Вы можете создать бесплатную учетную запись.
• Ресурс Azure OpenAI с моделью Whisper, развернутой в поддерживаемом регионе. Дополнительные сведения см. в статье "Создание ресурса" и развертывание модели с помощью Azure OpenAI.
• Python 3.8 или более поздней версии
• Следующая библиотека Python: ос

Настройка

Получение ключа и конечной точки

Чтобы успешно выполнить вызов к Azure OpenAI, вам потребуется конечная точка и ключ.

Перейдите к своему ресурсу на портале Azure. Конечную точку и ключи можно найти в разделе Управление ресурсами. Скопируйте конечную точку и ключ доступа, так как они потребуются для проверки подлинности вызовов API. Вы можете использовать KEY1 или KEY2. Наличие двух ключей позволяет безопасно менять и повторно создавать ключи без прерывания работы службы.

Переменные среды

Создайте и назначьте переменные постоянной среды для ключа и конечной точки.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

Рекомендуется использовать проверку подлинности без пароля

Для проверки подлинности без пароля необходимо выполнить следующие действия.

1. Используйте пакет @azure/identity.
2. Назначьте роль Cognitive Services User вашей учетной записи пользователя. Это можно сделать в портале Azure в разделе Управление доступом (IAM)>Добавить назначение роли.
3. Войдите с помощью Azure CLI, например az login.

Создание среды Python

Установите клиентную библиотеку OpenAI Python с помощью следующих компонентов:

pip install openai

pip install openai==0.28.1

Создание приложения Python

1. Создайте файл Python с именем quickstart.py. Затем откройте его в предпочитаемом редакторе или интегрированной среде разработки.

2. Замените содержимое quickstart.py следующим кодом. Измените код, чтобы добавить имя развертывания:

    import os
    from openai import AzureOpenAI
        
    client = AzureOpenAI(
        api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
        api_version="2024-02-01",
        azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT")
    )
    
    deployment_id = "YOUR-DEPLOYMENT-NAME-HERE" #This will correspond to the custom name you chose for your deployment when you deployed a model."
    audio_test_file = "./wikipediaOcelot.wav"
    
    result = client.audio.transcriptions.create(
        file=open(audio_test_file, "rb"),            
        model=deployment_id
    )
    
    print(result)

    import openai
    import time
    import os
    
    openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")
    openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT")  # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    openai.api_type = "azure"
    openai.api_version = "2024-02-01"
    
    model_name = "whisper"
    deployment_id = "YOUR-DEPLOYMENT-NAME-HERE" #This will correspond to the custom name you chose for your deployment when you deployed a model."
    audio_language="en"
    
    audio_test_file = "./wikipediaOcelot.wav"
    
    result = openai.Audio.transcribe(
                file=open(audio_test_file, "rb"),            
                model=model_name,
                deployment_id=deployment_id
            )
    
    print(result)

Запустите приложение с помощью python команды в файле быстрого запуска:

python quickstart.py

Вы можете получить примеры аудиофайлов, например wikipediaOcelot.wav, из репозитория пакета SDK службы "Речь" azure AI на сайте GitHub.

Выходные данные

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Предварительные условия

• Подписка Azure. Вы можете создать бесплатную учетную запись.
• Ресурс Azure OpenAI с моделью Whisper, развернутой в поддерживаемом регионе. Дополнительные сведения см. в статье "Создание ресурса" и развертывание модели с помощью Azure OpenAI.
• Пакет SDK для .NET 8.0

Предварительные требования для идентификатора Microsoft Entra

Для рекомендуемой проверки подлинности без ключа с помощью идентификатора Microsoft Entra необходимо:

• Установите Azure CLI, используемый для проверки подлинности без ключа с помощью идентификатора Microsoft Entra.
• Назначьте роль Cognitive Services User вашей учетной записи пользователя. Роли можно назначить в портале Azure в разделе управление доступом (IAM)>Добавить назначение роли.

Настройка

1. Создайте новую папку whisper-quickstart и перейдите в папку быстрого запуска, используя следующую команду:

   mkdir whisper-quickstart && cd whisper-quickstart
   

2. Создайте консольное приложение со следующей командой:

   dotnet new console
   

3. Установите клиентскую библиотеку OpenAI .NET с помощью команды dotnet add package:

   dotnet add package Azure.AI.OpenAI
   

4. Для рекомендуемой проверки подлинности без ключа с помощью идентификатора Microsoft Entra установите пакет Azure.Identity с помощью:

   dotnet add package Azure.Identity
   

5. Для рекомендуемой проверки подлинности без ключа с помощью идентификатора Microsoft Entra войдите в Azure с помощью следующей команды:

   az login
   

Получение сведений о ресурсе

Чтобы проверить подлинность приложения с помощью ресурса Azure OpenAI, необходимо получить следующие сведения:

Выполните быстрый старт

Пример кода в этом кратком руководстве использует идентификатор Microsoft Entra для рекомендуемой проверки подлинности без ключей. Если вы предпочитаете использовать ключ API, можно заменить объект #D0 объектом #D1.

AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new DefaultAzureCredential()); 

AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new AzureKeyCredential(key));

Чтобы запустить быстрый старт, выполните следующие действия.

1. Замените содержимое Program.cs следующим кодом и обновите значения заполнителей собственными.

   using Azure;
   using Azure.AI.OpenAI;
   using Azure.Identity; // Required for Passwordless auth
   
   
   string deploymentName = "whisper";
   
   string endpoint = Environment.GetEnvironmentVariable("AZURE_OPENAI_ENDPOINT") ?? "https://<your-resource-name>.openai.azure.com/";
   string key = Environment.GetEnvironmentVariable("AZURE_OPENAI_API_KEY") ?? "<your-key>";
   
   // Use the recommended keyless credential instead of the AzureKeyCredential credential.
   AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new DefaultAzureCredential()); 
   //AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new AzureKeyCredential(key));
   
   var audioFilePath = "<audio file path>"
   
   var audioClient = openAIClient.GetAudioClient(deploymentName);
   
   var result = await audioClient.TranscribeAudioAsync(audioFilePath);
   
   Console.WriteLine("Transcribed text:");
   foreach (var item in result.Value.Text)
   {
       Console.Write(item);
   }
   

2. Запустите приложение с помощью dotnet run команды или кнопки запуска в верхней части Visual Studio:

   dotnet run
   

Выходные данные

Если вы используете пример аудиофайла, в консоли отобразится следующий текст:

The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, 
Mexico, and Central and South America. This medium-sized cat is characterized by solid 
black spots and streaks on its coat, round ears...

Исходный код | Пакет (npm) | Примеры

Предварительные условия

• подписка Azure — создайте бесплатную учетную запись.
• LTS версии Node.js
• Azure CLI , используемый для проверки подлинности без пароля в локальной среде разработки, создайте необходимый контекст, выполнив вход с помощью Azure CLI.
• Ресурс Azure OpenAI, созданный в поддерживаемом регионе (см. раздел "Доступность региона"). Дополнительные сведения см. в статье "Создание ресурса" и развертывание модели с помощью Azure OpenAI.

Предварительные требования для идентификатора Microsoft Entra

Для рекомендуемой проверки подлинности без ключа с помощью идентификатора Microsoft Entra необходимо:

• Установите Azure CLI, используемый для проверки подлинности без ключа с помощью идентификатора Microsoft Entra.
• Назначьте роль Cognitive Services User вашей учетной записи пользователя. Роли можно назначить в портале Azure в разделе Управление доступом (IAM)>Добавить назначение роли.

Настройка

1. Создайте новую папку synthesis-quickstart и перейдите в папку быстрого запуска, используя следующую команду:

   mkdir synthesis-quickstart && cd synthesis-quickstart
   

2. Создайте package.json с помощью следующей команды:

   npm init -y
   

3. Установите клиентскую библиотеку OpenAI для JavaScript с помощью:

   npm install openai
   

4. Для рекомендуемой аутентификации без пароля:

   npm install @azure/identity
   

Получение сведений о ресурсе

Чтобы проверить подлинность приложения с помощью ресурса Azure OpenAI, необходимо получить следующие сведения:

Создание примера приложения

Вы можете получить примеры аудиофайлов, например wikipediaOcelot.wav, из репозитория пакета SDK службы "Речь" azure AI на сайте GitHub.

Выходные данные

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Исходный код | Пакет (npm) | Примеры

Предварительные условия

• подписка Azure — создайте бесплатную учетную запись.
• Версии Node.js LTS
• TypeScript
• Azure CLI , используемый для проверки подлинности без пароля в локальной среде разработки, создайте необходимый контекст, выполнив вход с помощью Azure CLI.
• Ресурс Azure OpenAI, созданный в поддерживаемом регионе (см. раздел "Доступность региона"). Дополнительные сведения см. в статье "Создание ресурса" и развертывание модели с помощью Azure OpenAI.

Предварительные требования для идентификатора Microsoft Entra

Для рекомендуемой проверки подлинности без ключа с помощью идентификатора Microsoft Entra необходимо:

• Установите Azure CLI, используемый для проверки подлинности без ключа с помощью идентификатора Microsoft Entra.
• Назначьте роль Cognitive Services User для своей учётной записи пользователя. Роли можно назначить в портале Azure в разделе Управление доступом (IAM)>Добавить назначение роли.

Настройка

1. Создайте новую папку whisper-quickstart и перейдите в папку быстрого запуска, используя следующую команду:

   mkdir whisper-quickstart && cd whisper-quickstart
   

2. Создайте package.json с помощью следующей команды:

   npm init -y
   

3. Обновите package.json до ECMAScript с помощью следующей команды:

   npm pkg set type=module
   

4. Установите клиентскую библиотеку OpenAI для JavaScript с помощью:

   npm install openai
   

5. Для рекомендуемой аутентификации без пароля:

   npm install @azure/identity
   

Получение сведений о ресурсе

Чтобы проверить подлинность приложения с помощью ресурса Azure OpenAI, необходимо получить следующие сведения:

Создание примера приложения

Вы можете получить примеры аудиофайлов, например wikipediaOcelot.wav, из репозитория пакета SDK службы "Речь" azure AI на сайте GitHub.

Выходные данные

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Предварительные условия

• подписка Azure — создайте бесплатную учетную запись.
• Вы можете использовать последнюю версию, PowerShell 7 или Windows PowerShell 5.1.
• Ресурс службы Azure OpenAI с развернутой моделью. Дополнительные сведения о развертывании модели см. в руководстве по развертыванию ресурсов.
• Ресурс службы Azure OpenAI, с развернутыми моделями gpt-35-turbo или gpt-4. Для получения дополнительной информации о развертывании моделей см. в руководстве по развертыванию ресурсов.

Настройка

Получение ключа и конечной точки

Чтобы успешно выполнить вызов к Azure OpenAI, вам потребуется конечная точка и ключ.

Перейдите к своему ресурсу на портале Azure. Конечную точку и ключи можно найти в разделе Управление ресурсами. Скопируйте конечную точку и ключ доступа, так как они потребуются для проверки подлинности вызовов API. Вы можете использовать KEY1 или KEY2. Наличие двух ключей позволяет безопасно менять и повторно создавать ключи без прерывания работы службы.

Переменные среды

Создайте и назначьте переменные постоянной среды для ключа и конечной точки.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

Создание приложения PowerShell

Выполните следующую команду. Вам необходимо заменить YourDeploymentName на имя развертывания, которое вы выбрали при развертывании модели Whisper. Имя модели не обязательно совпадает с именем развертывания. При вводе имени модели возникает ошибка, если вы не выбрали имя развертывания, идентичное имени базовой модели.

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YourDeploymentName' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

# Header for authentication
$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$form = @{ file = get-item -path './wikipediaOcelot.wav' }

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/audio/transcriptions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Form $form -Method Post -ContentType 'multipart/form-data'
return $response.text

Вы можете получить примеры аудиофайлов, например wikipediaOcelot.wav, из репозитория пакета SDK службы "Речь" azure AI на сайте GitHub.

Выходные данные

The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs.