RubricForge 降低代理評估中的誤判通過
RubricForge 從少量具備真實結果標註的代理軌跡中，自動生成可讀的人類評分規範，之後可在不存取環境的情況下套用固定規範。在 tau-bench 與 WebShop 上，它大幅降低失敗軌跡被誤判為通過的比例，並改善分級結果排序；但整體一致性並未顯著優於 G-Eval。
Search
直接匹配不多，已補上最新動態。
Tag: #llm-judges3 results
代理狀態評估實現 LLM 代理基準可擴展
代理狀態評估提出 LLM 驅動的模擬框架，用於基準測試多輪工具呼叫代理，避免昂貴的確定性後端。它使用情境定義目標和狀態，LLM 追蹤器從互動軌跡推斷代理狀態進行驗證。此方法產生穩定排名、人 LLM 評判一致率超過 90%，並提供可轉移訓練資料。
全面評估 Voice Agents 的通話者體驗
LangChain 說明如何使用 LangSmith，從執行過程、結果與通話者體驗等面向評估 voice agents。這套流程結合 traces、程式碼評估器、LLM judges 與人工審查。
Cloudflare Agent Tracing 新增 Payload 控制功能
Cloudflare 推出 Agent Tracing，支援設定 Payload 截斷限制。不同支援的 Agent 框架在 Payload 預設記錄策略上有所差異，因此開發者在設定可觀測性時需要檢查各框架的個別設定。
⚙️
AI 熱潮揭示磷化銦供應缺口
AI 資料中心擴張正大幅推升磷化銦衍底的需求，這類材料用於高速光晶片。全球供應高度集中於三家海外供應商，而中國國內產能仍然有限，且正處於擴產爬坡階段。
🤖
SHADOW-250M：僅 60 MB 的長上下文 LLM
一名獨立開發者表示，他以 300 億個 FineWeb tokens 訓練 SHADOW-250M，這個 2.5 億參數 LLM 經量化後低於 2 bits。據稱模型可在筆電 CPU 上以每秒約 400 tokens 運行，並透過磁碟上的 1-bit 壓縮機制，從最長 1 億 tokens 的歷史內容中進行檢索。
AI 讓作業變好，卻讓學習能力退化
一項追蹤26,811名中國中學生、歷時30個月的研究發現，使用生成式 AI 的學生作業成績平均提高18%、完成時間縮短30%，但月考成績平均低20%。研究指出，長期使用者更容易將作業完全外包給 AI，使原本應透過草稿、試錯與推演建立的能力逐步流失。
日本收緊 AI 硬體供應鏈
日本將阻焊劑、GaN 基板、永磁體、鈣鈦礦電池與閃爍體五類技術，納入技術轉移前的申報與審查框架。這項措施涵蓋海外子公司、合資企業、公司、大學與研究機構，可能影響半導體、機器人、AI 伺服器及感測器供應鏈。
ChatGPT 威脅通報促成逮捕
一名前 Goldman Sachs 分析師因在 ChatGPT 中留下針對前女友的具體威脅，遭 OpenAI 標記並移交執法機關後被捕。這起案件凸顯 AI 聊天記錄可能成為司法證據，也引發對隱私、威脅偵測標準與平台通報義務的討論。
豆包輸入法 HarmonyOS 版開放搶先體驗
豆包輸入法 HarmonyOS 版已在 AppGallery 開放搶先體驗，版本號為 0.9.1，體驗時間為 8 月 22 日至 9 月 21 日。此版本支援基於豆包語音大型模型的多方言、英語及中英混輸，並提供弱網環境下的語音輸入能力。