Создание видео с Sora 2 (предварительная версия)

Необходимые условия

• Подписка Azure. Создайте его бесплатно.
• Python версии 3.8 или более поздней. Рекомендуется использовать Python 3.10 или более поздней версии, но требуется по крайней мере Python 3.8. Если у вас нет подходящей версии Python, вы можете выполнить инструкции, описанные в руководстве по VS Code Python для простого способа установки Python в операционной системе.
• Ресурс OpenAI Azure, созданный в одном из поддерживаемых регионов. Дополнительные сведения о доступности регионов см. в документации по моделям и версиям.
• Затем необходимо развернуть модель sora (Sora 2) с помощью ресурса Azure OpenAI. Дополнительные сведения см. в разделе Создание ресурса и развертывание модели с помощью Azure OpenAI.

предварительные требования Microsoft Entra ID

Для рекомендуемой проверки подлинности без ключа с помощью Microsoft Entra ID необходимо:

• Установите Azure CLI, который используется для безключевой аутентификации в Microsoft Entra ID.
• Назначьте Cognitive Services User роль вашей учетной записи пользователя. Роли можно назначить на портале Azure в разделе Access control (IAM)>Add role assignment.

Установка

1. Создайте новую папку video-generation-quickstart и перейдите в папку быстрого запуска с помощью следующей команды:

   mkdir video-generation-quickstart && cd video-generation-quickstart
   

2. Создание виртуальной среды. Если у вас уже установлена Python 3.10 или более поздней версии, можно создать виртуальную среду с помощью следующих команд:

   Windows

   py -3 -m venv .venv
   .venv\scripts\activate
   

   Linux

   python3 -m venv .venv
   source .venv/bin/activate
   

   Macos

   python3 -m venv .venv
   source .venv/bin/activate
   

   Активация среды Python означает, что при запуске python или pip из командной строки используется интерпретатор Python, содержащийся в папке .venv приложения. Вы можете использовать deactivate команду для выхода из виртуальной среды Python, а затем повторно активировать ее при необходимости.

   Совет

   Рекомендуется создать и активировать новую среду Python для установки пакетов, необходимых для работы с этим руководством. Не устанавливайте пакеты в глобальную установку Python. При установке пакетов python всегда следует использовать виртуальную среду или среду conda, в противном случае можно нарушить глобальную установку Python.

3. Установите необходимые пакеты.

   Microsoft Entra ID

   pip install requests azure-identity
   

   Пакет azure-identity обеспечивает DefaultAzureCredential безопасную аутентификацию без использования ключей.

   Ключ API

   pip install requests
   

   Библиотека запросов обрабатывает HTTP-вызовы к REST API.

Получение сведений о ресурсе

Чтобы проверить подлинность приложения с помощью ресурса OpenAI Azure, необходимо получить следующие сведения:

Создание видео с помощью Sora 2

Вы можете создать видео с помощью модели Sora 2, создав задачу по генерации видео, проверяя его статус и получая созданное видео. В следующем коде показано, как это сделать с помощью REST API с помощью Python.

Выбор типа входных данных

Sora 2 поддерживает три режима ввода:

Настройка проверки подлинности

1. sora-quickstart.py Создайте файл и добавьте следующий код для проверки подлинности ресурса:

   Microsoft Entra ID

   import json
   import requests
   import time
   import os
   from azure.identity import DefaultAzureCredential
   
   # Set environment variables or edit the corresponding values here.
   endpoint = os.environ.get('AZURE_OPENAI_ENDPOINT')
   deployment_name = os.environ.get('AZURE_OPENAI_DEPLOYMENT_NAME')
   if not endpoint or not deployment_name:
       raise ValueError("Set AZURE_OPENAI_ENDPOINT and AZURE_OPENAI_DEPLOYMENT_NAME.")
   
   # Keyless authentication
   credential = DefaultAzureCredential()
   token = credential.get_token("https://ai.azure.com/.default")
   
   # Video generation uses 'preview' as the API version during the preview period
   api_version = 'preview'
   headers= { "Authorization": f"Bearer {token.token}", "Content-Type": "application/json" }
   

   Ключ API

   import json
   import requests
   import time
   import os
   
   # Set environment variables or edit the corresponding values here.
   endpoint = os.environ.get('AZURE_OPENAI_ENDPOINT')
   deployment_name = os.environ.get('AZURE_OPENAI_DEPLOYMENT_NAME')
   api_key = os.environ.get('AZURE_OPENAI_API_KEY')
   if not endpoint or not deployment_name or not api_key:
       raise ValueError(
           "Set AZURE_OPENAI_ENDPOINT, AZURE_OPENAI_DEPLOYMENT_NAME, and AZURE_OPENAI_API_KEY."
       )
   
   # Video generation uses 'preview' as the API version during the preview period
   api_version = 'preview'
   headers= { "api-key": api_key, "Content-Type": "application/json" }
   

Создание задания создания видео

1. Добавьте код для создания и мониторинга задания создания видео. Выберите тип ввода, соответствующий вашему варианту использования.

   Текстовый запрос

   # 1. Create a video generation job
   create_url = f"{endpoint}/openai/v1/video/generations/jobs?api-version={api_version}"
   body = {
       "prompt": "A cat playing piano in a jazz bar.",
       "width": 480,
       "height": 480,
       "n_seconds": 5,
       "model": deployment_name
   }
   response = requests.post(create_url, headers=headers, json=body)
   response.raise_for_status()
   print("Full response JSON:", response.json())
   job_id = response.json()["id"]
   print(f"Job created: {job_id}")
   
   # 2. Poll for job status
   status_url = f"{endpoint}/openai/v1/video/generations/jobs/{job_id}?api-version={api_version}"
   status=None
   while status not in ("succeeded", "failed", "cancelled"):
       time.sleep(5)  # Wait before polling again
       status_response = requests.get(status_url, headers=headers).json()
       status = status_response.get("status")
       print(f"Job status: {status}")
   
   # 3. Retrieve generated video 
   if status == "succeeded":
       generations = status_response.get("generations", [])
       if generations:
           print(f"✅ Video generation succeeded.")
           generation_id = generations[0].get("id")
           video_url = f"{endpoint}/openai/v1/video/generations/{generation_id}/content/video?api-version={api_version}"
           video_response = requests.get(video_url, headers=headers)
           if video_response.ok:
               output_filename = "output.mp4"
               with open(output_filename, "wb") as file:
                   file.write(video_response.content)
                   print(f'Generated video saved as "{output_filename}"')
       else:
           raise Exception("No generations found in job result.")
   else:
       raise Exception(f"Job didn't succeed. Status: {status}")
   

   Запрос изображения

   Замените поле "file_name" в "inpaint_items" именем вашего входного файла изображения. Кроме того, замените построение массива files , которое связывает путь к фактическому файлу с именем файла, который использует API.

   "crop_bounds" Используйте данные (расстояния обрезки изображения в каждом направлении, выраженные как доля от общих размеров изображения), чтобы указать, какая часть изображения должна использоваться в создании видео.

   При необходимости можно установить "frame_index" на кадр в созданном видео, где должно появляться изображение (значение по умолчанию — 0, начало видео).

   Параметр "n_variants" указывает, сколько различных вариантов видео для создания из одного запроса (от 1 до 4). Каждый вариант предоставляет уникальную интерпретацию входных данных.

   # 1. Create a video generation job with image inpainting (multipart upload)
   create_url = f"{endpoint}/openai/v1/video/generations/jobs?api-version={api_version}"
   
   # Flatten the body for multipart/form-data
   data = {
       "prompt": "A serene forest scene transitioning into autumn",
       "height": str(1080),
       "width": str(1920),
       "n_seconds": str(10),
       "n_variants": str(1),
       "model": deployment_name,
       # inpaint_items must be JSON string
       "inpaint_items": json.dumps([
           {
               "frame_index": 0,
               "type": "image",
               "file_name": "dog_swimming.jpg",
               "crop_bounds": {
                   "left_fraction": 0.1,
                   "top_fraction": 0.1,
                   "right_fraction": 0.9,
                   "bottom_fraction": 0.9
               }
           }
       ])
   }
   
   # Replace with your own image file path
   with open("dog_swimming.jpg", "rb") as image_file:
       files = [
           ("files", ("dog_swimming.jpg", image_file, "image/jpeg"))
       ]
       multipart_headers = {k: v for k, v in headers.items() if k.lower() != "content-type"}
       response = requests.post(
           create_url,
           headers=multipart_headers,
           data=data,
           files=files
       )
   
   if not response.ok:
       print("Error response:", response.status_code, response.text)
       response.raise_for_status()
   print("Full response JSON:", response.json())
   job_id = response.json()["id"]
   print(f"Job created: {job_id}")
   
   # 2. Poll for job status
   status_url = f"{endpoint}/openai/v1/video/generations/jobs/{job_id}?api-version={api_version}"
   status = None
   while status not in ("succeeded", "failed", "cancelled"):
       time.sleep(5)
       status_response = requests.get(status_url, headers=headers).json()
       status = status_response.get("status")
       print(f"Job status: {status}")
   
   # 3. Retrieve generated video
   if status == "succeeded":
       generations = status_response.get("generations", [])
       if generations:
           generation_id = generations[0].get("id")
           video_url = f"{endpoint}/openai/v1/video/generations/{generation_id}/content/video?api-version={api_version}"
           video_response = requests.get(video_url, headers=headers)
           if video_response.ok:
               output_filename = "output.mp4"
               with open(output_filename, "wb") as file:
                   file.write(video_response.content)
                   print(f'✅ Generated video saved as "{output_filename}"')
       else:
           raise Exception("No generations found in job result.")
   else:
       raise Exception(f"Job didn't succeed. Status: {status}")
   

   Запрос видео

   Замените поле "file_name" в "inpaint_items" на имя вашего входного видеофайла. Кроме того, замените построение массива files , которое связывает путь к фактическому файлу с именем файла, который использует API.

   Используйте данные "crop_bounds" (расстояния обрезки изображения, со всех сторон, как доля от общего размера кадра), чтобы определить, какая часть кадра видео должна использоваться при генерации видео.

   При необходимости можно задать "frame_index" кадр в сгенерированном видео, с которого должно начинаться ваше входное видео (по умолчанию это 0, то есть начало).

   # 1. Create a video generation job with video inpainting (multipart upload)
   create_url = f"{endpoint}/openai/v1/video/generations/jobs?api-version={api_version}"
   
   # Flatten the body for multipart/form-data
   data = {
       "prompt": "A serene forest scene transitioning into autumn",
       "height": str(1080),
       "width": str(1920),
       "n_seconds": str(10),
       "n_variants": str(1),
       "model": deployment_name,
       # inpaint_items must be JSON string
       "inpaint_items": json.dumps([
           {
               "frame_index": 0,
               "type": "video",
               "file_name": "dog_swimming.mp4",
               "crop_bounds": {
                   "left_fraction": 0.1,
                   "top_fraction": 0.1,
                   "right_fraction": 0.9,
                   "bottom_fraction": 0.9
               }
           }
       ])
   }
   
   # Replace with your own video file path
   with open("dog_swimming.mp4", "rb") as video_file:
       files = [
           ("files", ("dog_swimming.mp4", video_file, "video/mp4"))
       ]
       multipart_headers = {k: v for k, v in headers.items() if k.lower() != "content-type"}
       response = requests.post(
           create_url,
           headers=multipart_headers,
           data=data,
           files=files
       )
   
   if not response.ok:
       print("Error response:", response.status_code, response.text)
       response.raise_for_status()
   print("Full response JSON:", response.json())
   job_id = response.json()["id"]
   print(f"Job created: {job_id}")
   
   # 2. Poll for job status
   status_url = f"{endpoint}/openai/v1/video/generations/jobs/{job_id}?api-version={api_version}"
   status = None
   while status not in ("succeeded", "failed", "cancelled"):
       time.sleep(5)
       status_response = requests.get(status_url, headers=headers).json()
       status = status_response.get("status")
       print(f"Job status: {status}")
   
   # 3. Retrieve generated video
   if status == "succeeded":
       generations = status_response.get("generations", [])
       if generations:
           generation_id = generations[0].get("id")
           video_url = f"{endpoint}/openai/v1/video/generations/{generation_id}/content/video?api-version={api_version}"
           video_response = requests.get(video_url, headers=headers)
           if video_response.ok:
               output_filename = "output.mp4"
               with open(output_filename, "wb") as file:
                   file.write(video_response.content)
                   print(f'✅ Generated video saved as "{output_filename}"')
       else:
           raise Exception("No generations found in job result.")
   else:
       raise Exception(f"Job didn't succeed. Status: {status}")
   

2. Запустите файл Python.

   python sora-quickstart.py
   

   Создание видео обычно занимает 1–5 минут в зависимости от разрешения и длительности. Вы должны увидеть обновления статуса в вашем терминале, по мере того как задача продвигается через queued, preprocessing, running, processing и, наконец, succeeded.

Выход

Выходные данные будут отображать полный ответ JSON из запроса на создание задания создания видео, включая идентификатор задания и состояние.

{
    "object": "video.generation.job",
    "id": "task_01jwcet0eje35tc5jy54yjax5q",
    "status": "queued",
    "created_at": 1748469875,
    "finished_at": null,
    "expires_at": null,
    "generations": [],
    "prompt": "A cat playing piano in a jazz bar.",
    "model": "<your-deployment-name>",
    "n_variants": 1,
    "n_seconds": 5,
    "height": 480,
    "width": 480,
    "failure_reason": null
}

Созданное видео будет сохранено как output.mp4 в текущем каталоге.

Job created: task_01jwcet0eje35tc5jy54yjax5q
Job status: preprocessing
Job status: running
Job status: processing
Job status: succeeded
✅ Video generation succeeded.
Generated video saved as "output.mp4"

Устранение неполадок

При возникновении проблем проверьте следующие распространенные проблемы и решения:

# Test endpoint connectivity
test_url = f"{endpoint}/openai/deployments?api-version=2024-02-01"
response = requests.get(test_url, headers=headers)
print(response.status_code, response.text)

Необходимые условия

• Подписка Azure. Создайте его бесплатно.
• Ресурс OpenAI Azure, созданный в поддерживаемом регионе. См. сведения о доступности региона. Дополнительные сведения см. в разделе Создание ресурса и развертывание модели с помощью Azure OpenAI.

Перейдите на портал Microsoft Foundry

Перейдите на портал Foundry и войдите с учетными данными, связанными с ресурсом OpenAI Azure. Во время или после рабочего процесса входа выберите соответствующую директорию, подписку Azure и ресурс Azure OpenAI.

На целевой странице Foundry создайте или выберите новый проект. Перейдите на страницу "Модели + конечные точки" на левой панели навигации. Выберите "Развернуть модель " и выберите модель создания видео Sora 2 из списка. Завершите процесс развертывания.

На странице модели выберите "Открыть на детской площадке".

Попробуйте создание видео

Начните изучать создание видео Sora 2 с no-code-подходом через видеопесочницу. Введите запрос в текстовое поле и нажмите кнопку "Создать". Создание видео обычно занимает от 1 до 5 минут в зависимости от параметров. Когда видео, созданное СИ, будет готово, оно отображается на странице.

В песочнице Video вы также можете просмотреть примеры кода на Python и cURL, которые предварительно заполнены в соответствии с вашими настройками. Нажмите кнопку кода в верхней части области воспроизведения видео. Этот код можно использовать для записи приложения, которое завершает ту же задачу.