Справочник по звуковым событиям

События в режиме реального времени используются для обмена данными между клиентом и сервером в звуковых приложениях в режиме реального времени. События отправляются в виде объектов JSON по различным конечным точкам, таким как WebSockets или WebRTC. События используются для управления беседами, буферами звука и ответами в режиме реального времени.

С помощью этих API можно использовать события аудио-клиента и сервера:

• Azure OpenAI Realtime API
• Azure AI Voice Live API

Если иное не указано, события, описанные в этом документе, применимы к обоим API.

События клиента

Существует девять событий клиента, которые можно отправлять с клиента на сервер:

RealtimeClientEventConversationItemCreate

Событие клиента conversation.item.create используется для добавления нового элемента в контекст беседы, включая сообщения, вызовы функций и ответы на вызовы функций. Это событие можно использовать для заполнения журнала беседы и добавления новых элементов в середине потока. В настоящее время это событие не может заполнять звуковые сообщения помощника.

В случае успешного conversation.item.created выполнения сервер отвечает на событие, в противном случае error отправляется событие.

Структура событий

{
  "type": "conversation.item.create",
  "previous_item_id": "<previous_item_id>"
}

Свойства

RealtimeClientEventConversationItemDelete

Событие клиента conversation.item.delete используется для удаления элемента из журнала бесед.

Сервер отвечает на conversation.item.deleted событие, если элемент не существует в журнале бесед, в этом случае сервер отвечает с ошибкой.

Структура событий

{
  "type": "conversation.item.delete",
  "item_id": "<item_id>"
}

Свойства

СобытиеКлиентРеальногоВремениИзвлечениеЭлементаРазговора

Событие клиента conversation.item.retrieve используется для получения серверного представления определенного элемента в журнале разговоров. Это событие полезно, например, для проверки звука пользователя после отмены шума и VAD.

Если событие клиента успешно выполнено, сервер отвечает на conversation.item.retrieved событие. Если элемент не существует в журнале бесед, сервер ответит ошибкой.

Структура событий

{
  "type": "conversation.item.retrieve",
  "item_id": "<item_id>",
  "event_id": "<event_id>"
}

Свойства

Режим реального времени клиента: Укорачивание элемента разговора (RealtimeClientEventConversationItemTruncate)

Событие клиента conversation.item.truncate используется для усечения звука предыдущего помощника. Сервер создает звук быстрее, чем в режиме реального времени, поэтому это событие полезно, когда пользователь прерывает усечение звука, отправленного клиенту, но еще не воспроизводится. Понимание звука сервера с воспроизведением клиента синхронизируется.

Усечение звука удаляет расшифровку текста на стороне сервера, чтобы убедиться, что в контексте нет текста, о том, что пользователь не знает.

Если событие клиента успешно выполнено, сервер отвечает на conversation.item.truncated событие.

Структура событий

{
  "type": "conversation.item.truncate",
  "item_id": "<item_id>",
  "content_index": 0,
  "audio_end_ms": 0
}

Свойства

СобытиеКлиентаДобавитьБуферВходногоАудио

Событие клиента input_audio_buffer.append используется для добавления звуковых байтов в входной звуковой буфер. Буфер звука — это временное хранилище, в который можно записать и позже зафиксировать.

В режиме обнаружения действий голосовой связи сервера буфер звука используется для обнаружения речи, а сервер решает, когда зафиксировать. При отключении VAD сервера клиент может выбрать, сколько звука должно размещаться в каждом событии не более 15 МиБ. Например, потоковая передача небольших блоков от клиента может позволить VAD быть более адаптивным.

В отличие от большинства других событий клиента, сервер не отправляет ответ подтверждения на событие клиента input_audio_buffer.append .

Структура событий

{
  "type": "input_audio_buffer.append",
  "audio": "<audio>"
}

Свойства

RealtimeClientEventInputAudioBufferClear (очистка входного аудиобуфера в клиенте реального времени)

Событие клиента input_audio_buffer.clear используется для очистки звуковых байтов в буфере.

Сервер отвечает на input_audio_buffer.cleared событие.

Структура событий

{
  "type": "input_audio_buffer.clear"
}

Свойства

Фиксация входного аудиобуфера события клиента в реальном времени

Событие клиента input_audio_buffer.commit используется для фиксации входного звукового буфера пользователя, который создает новый элемент сообщения пользователя в беседе. Звук транскрибируется, если input_audio_transcription настроен для сеанса.

Если в режиме VAD сервера клиент не должен отправлять это событие, сервер автоматически фиксирует буфер звука. Без vaD сервера клиент должен зафиксировать звуковой буфер, чтобы создать элемент сообщения пользователя. Это событие клиента приводит к ошибке, если входной звуковой буфер пуст.

Фиксация входного звукового буфера не создает ответ от модели.

Сервер отвечает на input_audio_buffer.committed событие.

Структура событий

{
  "type": "input_audio_buffer.commit"
}

Свойства

Очистка буфера аудиовыхода клиента в режиме реального времени

Событие клиента output_audio_buffer.clear используется для очистки звуковых байтов в буфере.

Это событие должно предшествовать клиентскому response.cancel событию, чтобы остановить генерацию текущего ответа.

Сервер перестает создавать звук и реагирует на output_audio_buffer.cleared событие.

Структура событий

{
  "type": "output_audio_buffer.clear"
}

Свойства

Отмена ответа на событие клиента в реальном времени

Событие клиента response.cancel используется для отмены ответа на ход выполнения.

Сервер реагирует на response.cancelled событие или ошибку, если нет ответа на отмену.

Структура событий

{
  "type": "response.cancel"
}

Свойства

Создание ответа на клиентское событие в режиме реального времени

Событие клиента response.create используется для указания серверу создать ответ с помощью вывода модели. Если сеанс настроен в режиме VAD сервера, сервер автоматически создает ответы.

Ответ включает по крайней мере один item, и может иметь два, в этом случае второй — вызов функции. Эти элементы добавляются в журнал бесед.

Сервер реагирует на response.created событие, одно или несколько событий элемента и содержимого (например conversation.item.created , и response.content_part.added), и, наконец response.done , событие, указывающее, что ответ завершен.

Структура событий

{
  "type": "response.create"
}

Свойства

RealtimeClientEventSessionUpdate

Событие клиента session.update используется для обновления конфигурации сеанса по умолчанию. Клиент может отправлять это событие в любое время, чтобы обновить конфигурацию сеанса, и любое поле можно обновлять в любое время, за исключением голосовой связи.

Обновляются только те поля, которые присутствуют. Чтобы очистить поле (например instructions, ), передайте пустую строку.

Сервер отвечает на session.updated событие, содержащее полную эффективную конфигурацию.

Структура событий

{
  "type": "session.update"
}

Свойства

События сервера

С сервера можно получить 28 событий сервера:

СобытиеСервераВРеальномВремениБеседаСоздана

Событие сервера conversation.created возвращается сразу после создания сеанса. Для каждого сеанса создается одна беседа.

Структура событий

{
  "type": "conversation.created",
  "conversation": {
    "id": "<id>",
    "object": "<object>"
  }
}

Свойства

Свойства беседы

СобытиеСервераВРеальномВремениЭлементРазговораСоздан

Событие сервера conversation.item.created возвращается при создании элемента беседы. Существует несколько сценариев, которые создают это событие:

• Сервер создает ответ, который при успешном выполнении создает один или два элемента, который имеет тип message (роль assistant) или тип function_call.
• Входной звуковой буфер фиксируется клиентом или сервером (в server_vad режиме). Сервер принимает содержимое входного звукового буфера и добавляет его в новый элемент сообщения пользователя.
• Клиент отправил conversation.item.create событие для добавления нового элемента в беседу.

Структура событий

{
  "type": "conversation.item.created",
  "previous_item_id": "<previous_item_id>"
}

Свойства

ПолученЭлементРазговораСобытияСервераВРеальномВремени

Событие сервера conversation.item.retrieved возвращается при извлечении элемента беседы.

Структура событий

{
  "type": "conversation.item.retrieved",
  "previous_item_id": "<previous_item_id>"
}

Свойства

СобытиеСервераВРеальномВремениУдаленЭлементБеседы

Событие сервера conversation.item.deleted возвращается, когда клиент удалил элемент в беседе с событием conversation.item.delete . Это событие используется для синхронизации понимания сервера журнала бесед с представлением клиента.

Структура событий

{
  "type": "conversation.item.deleted",
  "item_id": "<item_id>"
}

Свойства

СобытиеСервераВРеальномВремениЗавершениеТранскрипцииАудиоВводаВЭлементРазговора

Событие сервера conversation.item.input_audio_transcription.completed является результатом транскрибирования звука для речи, записанной в буфер звука.

Транскрибирование начинается, когда входной звуковой буфер фиксируется клиентом или сервером (в server_vad режиме). Транскрибирование выполняется асинхронно с созданием ответа, поэтому это событие может происходить до или после событий отклика.

Модели API реального времени принимают аудио напрямую, поэтому транскрибирование входных данных — это отдельный процесс, выполняемый на другой модели распознавания речи, такой как whisper-1. Таким образом, расшифровка может несколько отличаться от интерпретации модели и должна рассматриваться как грубое руководство.

Структура событий

{
  "type": "conversation.item.input_audio_transcription.completed",
  "item_id": "<item_id>",
  "content_index": 0,
  "transcript": "<transcript>"
}

Свойства

Ошибка транскрипции аудио в реальном времени на сервере для элемента разговора

Событие сервера conversation.item.input_audio_transcription.failed возвращается при настройке входного транскрибирования звука, а запрос транскрибирования для сообщения пользователя завершился ошибкой. Это событие отличается от других error событий, чтобы клиент смог идентифицировать связанный элемент.

Структура событий

{
  "type": "conversation.item.input_audio_transcription.failed",
  "item_id": "<item_id>",
  "content_index": 0,
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>"
  }
}

Свойства

Свойства ошибки

УкороченныйЭлементРазговораСобытияСервераВРеальномВремени

Событие сервера conversation.item.truncated возвращается при усечении предыдущего элемента звукового сообщения помощника с событием conversation.item.truncate . Это событие используется для синхронизации понимания сервера звука с воспроизведением клиента.

Это событие усекает звук и удаляет расшифровку текста на стороне сервера, чтобы гарантировать отсутствие текста в контексте, о том, что пользователь не знает.

Структура событий

{
  "type": "conversation.item.truncated",
  "item_id": "<item_id>",
  "content_index": 0,
  "audio_end_ms": 0
}

Свойства

Ошибка события сервера в реальном времени

Событие сервера error возвращается при возникновении ошибки, которая может быть проблемой клиента или проблемой сервера. Большинство ошибок можно восстановить, и сеанс остается открытым.

Структура событий

{
  "type": "error",
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>",
    "event_id": "<event_id>"
  }
}

Свойства

Свойства ошибки

Входной аудиобуфер события сервера в реальном времени очищен

Событие сервера input_audio_buffer.cleared возвращается, когда клиент очищает входной звуковой буфер с событием input_audio_buffer.clear .

Структура событий

{
  "type": "input_audio_buffer.cleared"
}

Свойства

РеальноеСобытиеСервераВводАудиобуферЗафиксирован

Событие сервера input_audio_buffer.committed возвращается, когда входной звуковой буфер фиксируется клиентом или автоматически в режиме VAD сервера. Это item_id свойство является идентификатором созданного элемента пользовательского сообщения. Таким образом, conversation.item.created событие также отправляется клиенту.

Структура событий

{
  "type": "input_audio_buffer.committed",
  "previous_item_id": "<previous_item_id>",
  "item_id": "<item_id>"
}

Свойства

СобытиеРеальногоВремениСерверВводАудиоБуферРечьНачата

Событие сервера input_audio_buffer.speech_started возвращается в server_vad режиме, когда речь обнаруживается в звуковом буфере. Это событие может произойти при добавлении звука в буфер (если речь еще не обнаружена).

Клиент должен ожидать получения события при остановке input_audio_buffer.speech_stopped речи. Это item_id свойство является идентификатором элемента сообщения пользователя, созданного при остановке речи. Он item_id также включен в input_audio_buffer.speech_stopped событие, если клиент вручную не фиксирует звуковой буфер во время активации VAD.

Структура событий

{
  "type": "input_audio_buffer.speech_started",
  "audio_start_ms": 0,
  "item_id": "<item_id>"
}

Свойства

ВременноеОстановEventInputАудиоБуферРечьОстановлена

Событие сервера input_audio_buffer.speech_stopped возвращается в server_vad режиме, когда сервер обнаруживает конец речи в звуковом буфере.

Сервер также отправляет conversation.item.created событие с элементом сообщения пользователя, созданным из звукового буфера.

Структура событий

{
  "type": "input_audio_buffer.speech_stopped",
  "audio_end_ms": 0,
  "item_id": "<item_id>"
}

Свойства

СобытиеСерверРеальногоВремениВыходОчисткаАудиоБуфера

Событие сервера output_audio_buffer.cleared генерируется при очистке звукового выходного буфера.

Это происходит либо в режиме VAD, когда пользователь прервал (input_audio_buffer.speech_started), либо когда клиент вызвал событие output_audio_buffer.clear, чтобы вручную прерывать текущий звуковой ответ.

Структура событий

{
  "type": "output_audio_buffer.cleared"
}

Свойства

RealtimeServerEventOutputAudioBufferStarted (событие аудиобуфера сервера в реальном времени начато)

Событие output_audio_buffer.started возвращается сервером, когда он начинает потоковую передачу звука клиенту. Это событие создается после добавления части звукового содержимого (response.content_part.added) в ответ.

Структура событий

{
  "type": "output_audio_buffer.started",
  "event_id": "<item_id>",
  "response_id": "<response_id>"
}

Свойства

СобытиеСервераВРеальномВремениБуферАудиоОстановлен

Событие сервера output_audio_buffer.stopped возвращается, когда выходной звуковой буфер полностью осушен на сервере, и больше звука не ожидается.

Это событие возвращается после отправки клиенту полных данных ответа через response.done событие.

Структура событий

{
  "type": "output_audio_buffer.stopped",
  "audio_end_ms": 0,
  "item_id": "<item_id>"
}

Свойства

ОграниченияСкоростиСобытийСервераВРеальномВремениОбновлены

Событие сервера rate_limits.updated создается в начале ответа, чтобы указать обновленные ограничения скорости.

При создании ответа некоторые маркеры зарезервированы для выходных маркеров. Ограничения скорости, отображаемые здесь, отражают это резервирование, которое затем корректируется соответствующим образом после завершения ответа.

Структура событий

{
  "type": "rate_limits.updated",
  "rate_limits": [
    {
      "name": "<name>",
      "limit": 0,
      "remaining": 0,
      "reset_seconds": 0
    }
  ]
}

Свойства

РеалтаймСерверИвентРеспонсАудиоДельта

Событие сервера response.audio.delta возвращается при обновлении звука, созданного моделью.

Структура событий

{
  "type": "response.audio.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Свойства

Завершение обработки аудио в Реальном времени на сервере

Событие сервера response.audio.done возвращается при завершении звука, созданного моделью.

Это событие также возвращается при прерывании, неполном или отмене ответа.

Структура событий

{
  "type": "response.audio.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0
}

Свойства

RealtimeServerEventResponseAudioTranscriptDelta

Событие сервера response.audio_transcript.delta возвращается при обновлении транскрибирования звука, созданного моделью.

Структура событий

{
  "type": "response.audio_transcript.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Свойства

ЗавершениеАудиоТранскрипцииВОтветНаСобытиеРеальногоВремениСервера

Событие сервера response.audio_transcript.done возвращается при выполнении потоковой передачи данных, созданной моделью.

Это событие также возвращается при прерывании, неполном или отмене ответа.

Структура событий

{
  "type": "response.audio_transcript.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "transcript": "<transcript>"
}

Свойства

"Часть содержимого ответа на событие сервера в реальном времени добавлена"

Событие сервера response.content_part.added возвращается при добавлении новой части содержимого в элемент сообщения помощника во время создания ответа.

Структура событий

{
  "type": "response.content_part.added",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0
}

Свойства

Свойства части

Ответ на событие сервера в реальном времени: часть завершена

Событие сервера response.content_part.done возвращается при выполнении потоковой передачи части содержимого в элементе сообщения помощника.

Это событие также возвращается при прерывании, неполном или отмене ответа.

Структура событий

{
  "type": "response.content_part.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0
}

Свойства

Свойства части

СозданОтветНаСобытиеСервераВРеальномВремени

Событие сервера response.created возвращается при создании нового ответа. Это первое событие создания ответа, где ответ находится в начальном состоянии in_progress.

Структура событий

{
  "type": "response.created"
}

Свойства

Выполнение ответа на событие сервера в реальном времени

Событие сервера response.done возвращается при выполнении потоковой передачи ответа. Это событие всегда создается, независимо от конечного состояния. Объект ответа, включенный в response.done событие, включает все выходные элементы в ответе, но не включает необработанные звуковые данные.

Структура событий

{
  "type": "response.done"
}

Свойства

Аргументы вызова функции ответа на событие сервера в реальном времени - Дельта

Событие сервера response.function_call_arguments.delta возвращается при обновлении аргументов вызова функции, созданных моделью.

Структура событий

{
  "type": "response.function_call_arguments.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "call_id": "<call_id>",
  "delta": "<delta>"
}

Свойства

ГотовоАргументыВызоваФункцииОтветаНаСобытиеСервераВРеальномВремени

Событие сервера response.function_call_arguments.done возвращается, когда аргументы вызова функции, созданные моделью, выполняют потоковую передачу.

Это событие также возвращается при прерывании, неполном или отмене ответа.

Структура событий

{
  "type": "response.function_call_arguments.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "call_id": "<call_id>",
  "arguments": "<arguments>"
}

Свойства

ОтветРеальногоВремениСервераСобытиеВыходДобавленЭлемент

Событие сервера response.output_item.added возвращается при создании нового элемента во время создания ответа.

Структура событий

{
  "type": "response.output_item.added",
  "response_id": "<response_id>",
  "output_index": 0
}

Свойства

Готов элемент ответа события сервера в реальном времени

Событие сервера response.output_item.done возвращается при выполнении потоковой передачи элемента.

Это событие также возвращается при прерывании, неполном или отмене ответа.

Структура событий

{
  "type": "response.output_item.done",
  "response_id": "<response_id>",
  "output_index": 0
}

Свойства

RealtimeServerEventResponseTextDelta

Событие сервера response.text.delta возвращается при обновлении текста, созданного моделью. Текст соответствует text части содержимого элемента сообщения помощника.

Структура событий

{
  "type": "response.text.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Свойства

Ответ сервера в реальном времени – текст завершён

Событие сервера response.text.done возвращается при выполнении потоковой передачи созданного моделью текста. Текст соответствует text части содержимого элемента сообщения помощника.

Это событие также возвращается при прерывании, неполном или отмене ответа.

Структура событий

{
  "type": "response.text.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "text": "<text>"
}

Свойства

СозданаСессияСобытияСервераВРеальномВремени

Событие сервера — это первое событие сервера session.created при создании нового подключения к API Realtime. Это событие создает и возвращает новый сеанс с конфигурацией сеанса по умолчанию.

Структура событий

{
  "type": "session.created"
}

Свойства

Обновление сеанса события сервера в реальном времени

Событие сервера session.updated возвращается при обновлении сеанса клиентом. Если возникла ошибка, сервер отправляет error событие.

Структура событий

{
  "type": "session.updated"
}

Свойства

Компоненты

Формат реального времени для аудио

Допустимые значения:

• pcm16
• g711_ulaw
• g711_alaw

Модель транскрипции аудиовхода в реальном времени

Допустимые значения:

• whisper-1
• gpt-4o-transcribe
• gpt-4o-mini-transcribe
• gpt-4o-transcribe-diarize

Настройки транскрипции аудиовхода в реальном времени

Настройки уменьшения шума аудиовхода в реальном времени

RealtimeClientEvent

Тип события клиента в режиме реального времени

Допустимые значения:

• session.update
• input_audio_buffer.append
• input_audio_buffer.commit
• input_audio_buffer.clear
• conversation.item.create
• conversation.item.delete
• conversation.item.truncate
• response.create
• response.cancel

РеалтаймКонтентЧасть

Тип части контента в реальном времени

Допустимые значения:

• input_text
• input_audio
• text
• audio

RealtimeConversationItemBase

Элемент, добавляемый в беседу.

В этой таблице описываются все RealtimeConversationItem свойства. Свойства, применимые для каждого события, зависят от RealtimeItemType.

ЭлементЗапросаНаРазговорВРеальномВремени

Вы используете объект RealtimeConversationRequestItem для создания нового элемента в беседе с помощью события conversation.item.create.

RealtimeConversationResponseItem

Объект RealtimeConversationResponseItem представляет элемент в беседе. Он используется в некоторых событиях сервера, таких как:

• элемент беседы создан
• ответ.выходной_элемент.добавлен
• ответ.элемент_вывода.готово
• response.created (через response тип RealtimeResponseсвойства )
• response.done (через response тип RealtimeResponseсвойства )

RealtimeFunctionTool

Определение средства функции, используемого конечной точкой реального времени.

СтатусЭлементаВРеальномВремени

Допустимые значения:

• in_progress
• completed
• incomplete

Тип элемента в реальном времени

Допустимые значения:

• message
• function_call
• function_call_output

РольСообщенияВРеальномВремени

Допустимые значения:

• system
• user
• assistant

ЭлементСообщенияАссистентаЗапросаВРеальномВремени

ЧастьАудиоЗапросаВРеальномВремени

Элемент вызова функции запроса в реальном времени

Элемент вывода функции вызова запроса в реальном времени

ЭлементСообщенияЗапросаВРеальномВремени

ЭлементСсылкиНаСообщениеЗапросаВРеальномВремени

Сеанс запроса в реальном времени

Вы используете объект RealtimeRequestSession, когда хотите обновить конфигурацию сеанса с помощью события session.update.

ЭлементСообщенияСистемыЗапросовВРеальномВремени

Содержимое текста запроса в режиме реального времени

ЭлементСообщенияПользователяЗапросаВРеальномВремени

RealtimeResponse

Часть аудиоконтента RealtimeResponse

RealtimeResponseBase

Ресурс ответа.

Элемент вызова функции времени отклика в реальном времени

Элемент вывода функции вызова в реальном времени

ЭлементСообщенияОткликаВРеальномВремени

Опции实时反应

Сессия оперативной реакции

Объект RealtimeResponseSession представляет сеанс в API Реального времени. Он используется в некоторых событиях сервера, таких как:

• session.created
• session.updated

RealtimeResponseStatus

Допустимые значения:

• in_progress
• completed
• cancelled
• incomplete
• failed

Детали статуса ответа в реальном времени

RealtimeResponseTextContentPart

RealtimeServerEvent

ПределыСкоростиОбновленныхЛимитовРеальногоВремениСерверныхСобытий

Тип события сервера в реальном времени

Допустимые значения:

• session.created
• session.updated
• conversation.created
• conversation.item.created
• conversation.item.deleted
• conversation.item.truncated
• response.created
• response.done
• rate_limits.updated
• response.output_item.added
• response.output_item.done
• response.content_part.added
• response.content_part.done
• response.audio.delta
• response.audio.done
• response.audio_transcript.delta
• response.audio_transcript.done
• response.text.delta
• response.text.done
• response.function_call_arguments.delta
• response.function_call_arguments.done
• input_audio_buffer.speech_started
• input_audio_buffer.speech_stopped
• conversation.item.input_audio_transcription.completed
• conversation.item.input_audio_transcription.failed
• input_audio_buffer.committed
• input_audio_buffer.cleared
• error

Обнаружение поворотов VAD в реальном времени на сервере

RealtimeSessionBase

Конфигурация объекта сеанса в режиме реального времени.

RealtimeTool

Базовое представление определения инструмента в режиме реального времени.

RealtimeToolChoice

Объединенный набор доступных представлений для параметра реального времени tool_choice , охватывающий как строковые литеральные параметры, такие как auto, так и структурированные ссылки на определенные инструменты.

RealtimeToolChoiceFunctionObject

Представление именованного средства функции в режиме реального времени tool_choice .

Выбор инструмента в реальном времени (дословно)

Доступный набор параметров строкового литерала tool_choice для конечной точки реального времени.

Допустимые значения:

• auto
• none
• required

RealtimeToolChoiceObject

Базовое представление для реального времени tool_choice выбора именованного инструмента.

Тип инструмента реального времени

Поддерживаемый тип инструмента дискриминационный для инструментов в режиме реального времени. В настоящее время поддерживаются только средства функции.

Допустимые значения:

• function

ОбнаружениеПоворотовВРеальномВремени

ТипРеальногоВремениОбнаруженияПоворота

Допустимые значения:

• semantic_vad — Семантический VAD определяет, когда пользователь закончил говорить на основе слов, которые они произносили. Входной звук оценивается на основе вероятности того, что пользователь закончил говорить. Если вероятность низка, модель будет ожидать истечения времени ожидания. Когда вероятность высока, не нужно ждать.
• server_vad — сервер оценивает звук пользователя от клиента. Сервер автоматически использует этот звук для запуска создания ответов в применимых беседах при обнаружении конца речи.

RealtimeVoice

Допустимые значения:

• alloy
• ash
• ballad
• coral
• echo
• sage
• shimmer
• verse

Связанный контент

• Краткое руководство по началу работы с API Realtime.
• Узнайте больше об использовании API реального времени.