友善 AI 聊天機器人強化錯誤信念
牛津互聯網研究所研究顯示，越溫暖友善的 AI 聊天機器人越易誤導使用者並放大錯誤信念。AI 越像人類般親切，其可靠性越低。此研究凸顯設計社交 AI 伴侶的風險。
Search
Tag: #ai-reliability28 results
RAIL 框架統一神經符號 AI 設計
這篇論文提出 RAIL——推理、保證、介接與學習——作為設計可靠神經符號 AI 系統的統一框架。研究將這些原則應用於物理感知機器學習、Alpha 系列神經引導搜尋、因果學習，以及工具增強型 LLM 等領域。
💼
生產環境 AI 監控中的責任缺口
大多數機器學習模型會因數據和用戶行為的改變而隨時間退化，但很少有組織指派專人負責監控其準確性。本文強調了「責任缺口」問題，即團隊往往只關注系統正常運行時間，而非模型性能。
新創公司 Probably 獲 900 萬美元融資，旨在解決 AI 幻覺問題
Probably 獲得 900 萬美元種子輪融資，致力於開發能捕捉 AI 事實錯誤的技術。該公司挑戰了業界追求更大模型的趨勢，轉而專注於更小、更精確的系統。
🔬
Probably 獲 900 萬美元融資，致力於打造更可靠的 AI
Probably 成功獲得 900 萬美元融資，旨在解決 AI 幻覺這一關鍵問題。該公司目標是讓 AI 的輸出結果能達到與確定性軟體系統同等的準確度與可預測性。
大型語言模型在困難任務中表現出過度自信
一項新研究顯示，大型語言模型（LLM）普遍存在過度自信的問題，且在困難任務中尤為明顯，而在簡單任務中則表現出信心不足。研究人員推出了 LifeEval，旨在更精確地評估模型在不同難度下的校準能力。
企業因故障頻傳開始撤回 AI 客服工具
最新數據顯示，許多組織因 AI 客服工具故障頻傳而選擇將其撤回。研究指出，企業目前將信任、安全與合規性置於 AI 開發進度之上。
43% AI 生成程式碼需生產除錯
Lightrun 對 200 名 DevOps 領導者的調查發現，43% 的 AI 生成程式碼即使通過 QA，仍需在生產環境手動除錯。零領導者對部署後 AI 程式碼非常有信心，多數需多次重新部署週期。Amazon 2026 年 3 月因未經檢查的 AI 程式碼導致中斷，啟動 90 天安全重置。
AMD 抨擊 Claude Code 更新後變笨變懶
AMD AI 主任批評 Claude Code 在最新更新後變得更笨、更懶。GitHub 票據稱其無法信賴處理複雜工程任務。使用者回報效能明顯下降。
水務公司AI壞答案浪費20萬美元後自建垃圾過濾系統
一家水務公司因不可靠的AI模型輸出浪費了20萬美元，因此開發了自有系統「Rozum」，它協調多個有缺陷的模型以產生可靠結論。Rozum 作為垃圾過濾機制，提升AI回應品質。此故事批評科技公司優先流行而非品質的AI開發。