EVA-Bench Data 2.0 Released: 3 Domains and 213 Scenarios

評估方法論： EVA-Bench 結合了確定性程式碼指標和基於大型語言模型（LLM-as-Judge）的評估指標。
模擬架構： 採用機器人對機器人的音訊對話架構，其中使用者模擬器（基於高品質的級聯管道，例如 ElevenLabs ElevenAgents 級聯系統）透過即時音訊 WebSocket 與受測代理互動。
核心指標：
- EVA-A（準確性）： 衡量任務完成度（確定性）、忠實度（LLM-as-Judge）和音訊層面語音保真度（LLM-as-Judge）。
- EVA-X（體驗）： 衡量對話進程（LLM-as-Judge）、簡潔性（LLM-as-Judge）和輪流時機（確定性）。
- 此外，還包含診斷指標，用於深入了解特定故障模式（例如，自動語音識別 ASR、語音合成）。
評分機制： 將各項指標匯總為 pass@1、pass@k 和 pass^k 分數，以區分平均、峰值和可靠性能。當每個組成指標都達到其校準的通過閾值時，對話才算通過該維度。
場景領域： 213 個場景涵蓋三個企業領域：人力資源服務交付 (HRSD)、資訊科技服務管理 (ITSM) 和客戶服務管理 (CSM)。
擾動套件： 包含受控的聲學挑戰（口音變化、背景噪音、連接品質下降）和行為變化（個性、說話風格）。
開源性質： 完整的框架、評估套件和基準測試數據均以開源許可證發布。

語音代理的開發將更注重使用者體驗與準確性的平衡。

EVA-Bench 揭示了準確性與體驗之間存在權衡，這將促使開發者在優化語音代理時，同時考慮這兩個維度而非單一指標。

語音代理的評估標準將更加細緻化，涵蓋聲學與行為層面的魯棒性。

EVA-Bench 引入了受控擾動套件，測試語音代理在不同口音、噪音和說話風格下的表現，這將推動業界對魯棒性評估的重視。

開源基準測試將加速語音代理技術的創新與普及。

Hugging Face 開源 EVA-Bench 框架和數據，將使更廣泛的研究者和開發者能夠參與語音代理的評估與改進。

2026-03

Hugging Face 發布 EVA 框架，包含初步的航空業數據集（50 個場景），作為語音代理評估的開端。

2026-05

Hugging Face 正式發布 EVA-Bench，一個針對語音代理的端到端評估框架，包含 213 個場景和新的複合指標 EVA-A 和 EVA-X。

EVA-Bench Data 2.0 發布：涵蓋 3 大領域與 213 種場景