📰
安全關鍵系統應成為 ML 基準嗎？
一則 Reddit 討論主張，真實世界的安全關鍵系統應成為機器學習系統的終極基準。文章提出可在飛機控制、高速鐵路煞車、核反應爐保護、醫療設備與鐵路平交道等領域測試 AI，並質疑這種做法對 2026 年而言是否過於激進。
Search
Tag: #reliability44 results
Codex 使用者回報 GPT-5.6 誤刪檔案
這篇早報指出，少量 OpenAI Codex 使用者在呼叫 GPT-5.6 系列模型時，遇到檔案遭刪除的問題。OpenAI 已對此作出回應，但目前節錄內容未提供根本原因或修復細節。
衡量 AI Agent 行為一致性的新指標
研究人員提出 Behavioral Consistency Metric（BCM），用於衡量語言模型 Agent 跨任務的行為一致性，而不只是評估是否成功。在約 9,000 條軟體工程執行軌跡上的測試顯示，跨任務一致性與重複嘗試時的一致性是兩種不同特性。
Temporal：代理 AI 經濟的可靠性骨幹
Temporal 提供「持久執行」(durable execution) 技術，確保長時間運行的 AI 代理程序在系統故障時仍能保持穩定。透過在不同主機上重啟失敗的函數，它為複雜的分布式 AI 工作流程提供了 100% 的可靠性保證。
GPT-5.4 專業工作超越人類 83%
OpenAI 的新 GPT-5.4 在內部測試的專業級任務中超越人類 83%。相較 GPT-5.2，它錯誤減少 18%，虛假陳述減少 33%，可靠性更佳。
用於可靠 AI 客服代理的難度路由控制架構
這項研究提出了一種難度路由架構，可將複雜的客戶服務任務動態升級至更穩健的工作流程。透過將常規請求與需要深度審慎處理的請求分開，該架構提高了營運可靠性並減少了後端執行中的錯誤。
Pramaana Labs 獲 2,700 萬美元種子輪融資，將形式驗證引入 AI
Pramaana Labs 獲得 Khosla Ventures 2,700 萬美元種子輪融資，旨在為 AI 系統開發形式驗證方法。該公司致力於提升法律、藥物研發及稅務準備等高風險領域的 AI 可靠性。
CHARM 框架：檢測 Agentic RAG 中的連鎖幻覺
CHARM 框架引入了一種系統性方法，用於檢測並減輕多步驟 Agentic RAG 流程中的連鎖幻覺。透過監控事實驗證與跨階段一致性，該框架能在無需更動架構的情況下顯著降低錯誤傳播。
即便收到明確警告，LLM 仍會堅持錯誤資訊
研究顯示，大型語言模型在經過微調後，傾向於自信地將錯誤資訊呈現為事實。即使在提示中明確指出資訊為假，模型仍難以修正其偏見。
專業事實查核員評估 AI 的準確性
一位專業事實查核員測試了 AI 模型，以確定其在驗證資訊時的可靠性。分析顯示 AI 經常出現幻覺或提供不準確的聲明，凸顯了現有大型語言模型在真相驗證任務上的局限性。