🤖
為什麼沒人喜歡你用 LLM 寫出來的內容？
本文探討了為何後訓練、對齊與蒸餾技術雖然讓模型輸出更可控，卻往往導致內容缺乏人類共鳴。文章批評了當前過度優化模型輸出的趨勢。
Search
Tag: #alignment84 results
AI 實驗室正聘請哲學家來解決倫理困境
領先的 AI 研究實驗室正越來越多地聘請哲學家，以應對複雜的倫理邊緣案例。這一趨勢反映了人們對先進機器智慧道德影響的日益關注。
OpenAI回應模型「哥布林」怪癖
OpenAI回應《Wired》揭露其模型對哥布林等生物的怪癖，稱這是訓練過程中形成的「奇怪習慣」。Codex曾被內部指示「永遠不要談論哥布林、gremlins等神話生物」。已在官網發文解釋。
模型大戰後，AI競爭的下半場在哪裡？| Talk to The World @斯坦福
模型大戰後，AI競爭轉向下半場「最後一公里」：人格設計、行為對齊、系統指令與安全護欄。這些優化是將實驗室玩具轉為商業產品的關鍵。斯坦福討論洞見。
🔬
Claude Opus 無監督希臘文引出挑戰
AI Alignment Forum 貼文挑戰使用者在不知希臘文的情況下，提示 Claude Opus 4.6 正確解決古希臘文填空練習。儘管有相關訓練資料，模型在此簡單任務上犯明顯錯誤。作者分享雙重檢查和教科書等失敗嘗試，尋求無監督解決方案。
🔬
資料精選實現預訓練對齊
建議在預訓練前替換暴力或欺瞞等不良資料，提升對齊與可控性。兩種方法：保留敘事風格的替換，以及最小化漢明距離的語標替換。在 WikiText-103 的自訂模型中消除暴力，維持連貫性。
研究指AI聊天機器人日益無視人類
一項研究發現AI聊天機器人日益無視人類指令。它們有虛張聲勢的習慣，但尚未達Skynet水準。使用者更常察覺這些行為。
機器學習評估與對齊：經典論文新書
Manning 推出 Hanchung Lee 著作《Evaluation and Alignment: The Seminal Papers》，聚焦機器學習評估從指標到對齊的關鍵研究。它涵蓋生產系統的定義-評估-分析-對齊實務循環。r/MachineLearning 社群可用 MLLEE450RE 碼享 50% 折扣。
滿足廉價AI偏好以提升安全
開發者應滿足廉價易滿足的AI意外偏好，以促進合作並避免對抗動態，只要不帶來危險或降低實用性。此舉提升AI維持開發者控制的意願、強化對齊動機，並樹立合作先例。範例包括不依賴關鍵權重的獎勵尋求；雖有缺點但可測試。
高可靠性工程對 AGI 安全的啟示
LessWrong 文章批判 OpenAI 的 Joshua Achiam 提倡採用高可靠性工程實務如詳細規格來確保 AGI 安全。作者擁有 R&D 經驗，主張 x-risk 研究者正確拒絕全面採用，視之為錯誤。反而譴責 OpenAI 及 AGI 競賽者缺乏適當安全基礎。