Search

Tag: #llm-evaluation69 results

利用多模型同儕審查評估自主 AI 科學家系統

本研究提出了一套嚴謹的基準測試協議，利用多模型 LLM 同儕審查來評估自主 AI 研究系統。研究針對四種框架與商業基準進行評測，揭示了顯著的效能差距，並驗證了自動化評估的可靠性。

ArXiv AIResearch•Aug 3#benchmarking#autonomous-research#llm-evaluation

零售對話代理評估的可擴展治理管道

這項研究介紹了一種專為大規模評估零售對話代理而設計的治理型配置驅動管道。它利用模式約束的 LLM 評分和選擇性重新評估，確保生產環境中的可靠性、可審計性和成本效益。

ArXiv AIResearch•Jul 15#llm-evaluation#chatbot-governance#mlops

透過子模組提示選擇實現高效 LLM 基準測試

研究人員提出了一種選擇少量提示詞子集的新方法，能精確近似完整的 LLM 基準測試結果。透過在語義嵌入上使用設施選址函數，該方法在降低評估成本的同時，在 35 個基準測試中保持了高準確度。

ArXiv AIResearch•Jul 14#llm-evaluation

MedRealMM：用於醫療諮詢的全新多模態基準測試

MedRealMM 是一個基於真實中文臨床諮詢的大規模多模態基準測試。它評估了大型語言模型處理圖文醫療數據的能力，並突顯了模型在安全性與推理能力上與人類醫師的差距。

ArXiv AIResearch•Jul 13#healthcare-ai#multimodal#llm-evaluation

建立 LLM 評估與數據策劃之間的閉環系統

本研究引入了「能力切片」(capability slice) 框架，旨在彌合模型評估失敗與針對性數據干預之間的差距。透過按任務類型和操作對評估樣本進行分類，工程師可以系統性地診斷並修復模型缺陷。

ArXiv AIResearch•Jun 30#llm-evaluation#data-curation#model-training

T2D-Bench：糖尿病領域 LLM 的證據門控評估基準

T2D-Bench 是一個全新的評估框架，利用多層知識圖譜來驗證 LLM 在第二型糖尿病建議中的臨床準確性。它能識別未經證實的臨床遺漏，並強制模型符合基於證據的醫療準則。

ArXiv AIResearch•Jun 25#healthcare-ai#llm-evaluation#knowledge-graph

自動化同儕審查代理系統基準測試研究

本研究評估了如 OpenAIReview 等代理審查系統在評估學術論文方面的有效性。研究發現這些系統能追蹤人類的品質判斷並檢測錯誤，儘管仍有改進空間。

ArXiv AIResearch•Jun 20#agentic-workflow#peer-review#llm-evaluation

Regimes：AI 代理的可審計自主改進迴圈

Regimes 引入了一種基於 ActiveGraph 的事件溯源代理運行時，使自主改進迴圈變得可審計且可靠。透過將代理狀態視為僅追加日誌的投影，它實現了可重現的故障診斷以及受控的驗證集補丁測試。

ArXiv AIResearch•Jun 10#agentic-workflow#event-sourcing#automated-debugging

大規模評估 Amazon Nova Sonic 語音代理

AWS 發布了 Nova Sonic Test Harness，這是一個用於測試和調整語音代理的開源框架。它支援自動化多輪對話評估，並能在無需麥克風的情況下檢測語音幻覺。

AWS Machine Learning BlogOfficial•Jun 8#voice-ai#automated-testing#llm-evaluation