OpenAI 修復 ChatGPT「哥布林」比喻激增問題

🔑 增強重點摘要

• •該問題主要源於 OpenAI 在微調（Fine-tuning）階段引入的「御宅族（Otaku）」風格數據集，導致模型在處理隱喻時產生了統計學上的偏差，將特定語境錯誤地與哥布林形象掛鉤。
• •OpenAI 的安全團隊指出，此現象屬於「風格漂移（Style Drift）」的一種特殊案例，即模型在學習特定亞文化語調時，未能正確區分隱喻的適用範圍，導致過度泛化。
• •此次修復不僅涉及提示詞（Prompt）調整，還包含對模型權重進行了針對性的「去偏見（Debiasing）」處理，以確保模型在保持特定人格特徵的同時，不會產生不適當的文化比喻。

🛠️ 技術深入

• •問題根源：在 RLHF（人類回饋強化學習）階段，針對「御宅族」人格設定的獎勵模型（Reward Model）對包含哥布林隱喻的回答給予了過高的評分。
• •修正機制：採用了「提示詞注入（Prompt Injection）」的防禦性機制，在系統層面強制過濾與哥布林相關的特定比喻模式。
• •模型權重調整：透過對受影響的檢查點（Checkpoints）進行額外的監督式微調（SFT），降低了與該特定亞文化語料相關的權重激活強度。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線