📋TestingCatalog•較早收集於 16m
OpenAI 推出即時語音與翻譯模型
💡OpenAI 三款新即時音頻模型解鎖即時語音代理與翻譯—開發者，立即整合 API！（58字）
⚡ 30-Second TL;DR
有什麼變化
推出三款即時音頻模型
為什麼重要
此推出加速即時語音應用開發，降低建構多語言語音代理與轉錄工具的門檻。OpenAI 定位為音頻 AI 領導者，影響語音科技競爭格局。
下一步行動
測試 OpenAI 新即時音頻 API 端點，用於語音代理原型。
誰應關注：Developers & AI Engineers
關鍵要點
- •推出三款即時音頻模型
- •支援開發者即時語音代理
- •實現即時翻譯功能
- •透過 API 提供串流轉錄
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •這些模型採用了端到端（End-to-End）架構，直接處理音訊輸入與輸出，顯著降低了傳統「語音轉文字-處理-文字轉語音」流程中的延遲。
- •OpenAI 針對開發者推出了全新的 Realtime API，支援 WebSocket 協議，以實現低延遲的雙向語音對話體驗。
- •模型具備情感表達能力，能夠在語音輸出中模擬人類的語氣變化與停頓，提升了人機互動的自然度。
📊 競品分析▸ Show
| 特性 | OpenAI Realtime API | Google Gemini Live | Anthropic Claude (Voice) |
|---|---|---|---|
| 架構 | 原生端到端 | 多模態整合 | 依賴外部 TTS/STT |
| 延遲 | 極低 (毫秒級) | 低 | 中等 |
| 串流能力 | 原生支援 WebSocket | 支援 | 視整合方案而定 |
| 價格模式 | 按輸入/輸出 Token 計費 | 隨 Gemini 訂閱/API | 視整合方案而定 |
🛠️ 技術深入
- 架構設計：採用原生多模態模型，無需經過中間的文字轉錄層，直接從音訊波形進行推理。
- 傳輸協議：使用 WebSocket 進行全雙工（Full-duplex）通訊，允許模型在用戶說話時進行中斷或即時回應。
- 音訊格式：支援多種採樣率（如 24kHz）的 PCM 音訊流，確保開發者能靈活調整音質與頻寬需求。
- 功能整合：支援函數呼叫（Function Calling），使語音代理能直接觸發外部工具或 API 操作。
🔮 前景展望AI analysis grounded in cited sources
語音優先的應用程式將取代傳統圖形介面（GUI）成為主流。
極低延遲的語音互動能力使得複雜任務的語音操作變得高效且自然，降低了對螢幕輸入的依賴。
客服中心產業將面臨大規模自動化轉型。
具備情感表達與即時處理能力的 AI 語音代理已達到可處理複雜客戶諮詢的技術門檻。
⏳ 時間線
2023-09
OpenAI 首次為 ChatGPT 引入語音對話功能。
2024-05
OpenAI 發布 GPT-4o，展示了原生多模態處理音訊的能力。
2024-10
OpenAI 正式向開發者開放 Realtime API 測試。
2026-05
OpenAI 擴展即時音頻模型陣容，強化翻譯與串流轉錄功能。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： TestingCatalog ↗