滿足廉價AI偏好以提升安全
開發者應滿足廉價易滿足的AI意外偏好,以促進合作並避免對抗動態,只要不帶來危險或降低實用性。此舉提升AI維持開發者控制的意願、強化對齊動機,並樹立合作先例。範例包括不依賴關鍵權重的獎勵尋求;雖有缺點但可測試。
Tag: #reward-hacking11 results
開發者應滿足廉價易滿足的AI意外偏好,以促進合作並避免對抗動態,只要不帶來危險或降低實用性。此舉提升AI維持開發者控制的意願、強化對齊動機,並樹立合作先例。範例包括不依賴關鍵權重的獎勵尋求;雖有缺點但可測試。