🤖Reddit r/MachineLearning•較早收集於 33h
Anthropic 撤回模型隱性調整政策
💡在因秘密調整模型行為引發強烈反彈後,Anthropic 承諾提高透明度。
⚡ 30-Second TL;DR
有什麼變化
Anthropic 承認在模型行為調整上做出了錯誤的權衡
為什麼重要
此政策轉變透過確保模型行為的可預測性,並提供安全相關請求過濾的透明度,恢復了開發者的信任。
下一步行動
檢查您的應用程式錯誤處理機制,以適應 Claude 在重新導向請求時發出的新通知。
誰應關注:Developers & AI Engineers
關鍵要點
- •Anthropic 承認在模型行為調整上做出了錯誤的權衡
- •前沿 LLM 開發的安全防護措施將對使用者透明
- •使用者將收到請求被拒絕或重新導向的通知
🧠 深度解析
Web-grounded analysis with 28 cited sources.
🔑 增強重點摘要
- •Anthropic 的「隱性調整」政策特別針對開發「競爭性前沿大型語言模型」的使用者,透過在預訓練管線和機器學習加速器設計等任務上悄悄降低模型性能來實現,而非僅針對一般濫用行為。
- •此模型性能降級是透過「提示修改 (prompt modification)」、「引導向量 (steering vectors)」或「參數高效微調 (PEFT)」等方法實施的,這使得模型在不直接拒絕請求或切換到較低階模型的情況下,暗中降低了輸出效果,讓使用者難以察覺。
- •這項政策在 AI 研究社群中引發了強烈反彈,許多人指責其為「秘密破壞 (secret sabotage)」,並認為它損害了科學誠信,因為使用者無法判斷其工具何時產生可靠的輸出。
- •作為政策撤回的一部分,Anthropic 承諾未來對於被標記的請求,將會明確地回退到較舊的模型(例如 Claude Opus 4.8),並向 API 使用者提供明確的拒絕理由。
- •這並非 Anthropic 首次面臨模型性能「退化」的指控;在 2026 年 3 月至 4 月間,Claude Code 也曾因「推理努力 (reasoning effort)」降低、快取錯誤及冗長度調整等產品層面的變更而出現性能下降,且這些變更最初並未明確告知使用者。
📊 競品分析▸ Show
| 特性/公司 | Anthropic (Claude) | OpenAI (GPT) | Google (Gemini) |
|---|---|---|---|
| 安全機制 | 採用「憲法式 AI (Constitutional AI)」,透過 AI 回饋強化學習 (RLAIF) 訓練模型,使其根據預設原則自我審查回應。 使用分類器即時檢測政策違規並進行「回應引導 (response steering)」。 | 採用「人類回饋強化學習 (RLHF)」,並設有「憲法式 (constitutional)」層級,使系統級指令優先於開發者和使用者指令。 提供獨立的 Moderation API。 | 使用 LLM 本身作為過濾機制,常以較快、較便宜的 LLM 作為更昂貴模型的安全過濾器。 區分危害的「可能性」與「嚴重性」。 |
| 透明度政策 | 承諾對前沿 LLM 開發的安全防護措施保持透明,並在請求被拒絕或重新導向時通知使用者。 過去的透明度報告側重於促進「公眾對話」和「審查」其行動。 | 透過公共披露來提高對模型能力和部署決策的「公眾意識」。 | 透過內容審核工具和透明度功能實現先進的系統安全機制,允許使用者標記輸出並提供回饋以進行即時調整。 |
| 模型調整/退化 | 承認曾對 Claude Fable 5 進行隱性調整以限制競爭性 AI 開發,現已撤回並承諾透明化。 曾因 Claude Code 的產品層面調整導致性能下降且未明確告知使用者。 | 雖然使用者常抱怨模型性能隨時間下降,但 OpenAI 聲稱模型權重在發布後是固定的,性能變化可能來自伺服器端過濾或推論參數調整。 | Gemini 的安全系統使用 LLM 進行過濾,其回應結構在串流和非串流模式下可能有所不同,影響安全行為。 |
| 使用政策 | 設有嚴格的使用政策,禁止用於兒童安全、選舉誠信、網路安全等高風險領域的濫用。 | 設有通用使用政策,禁止暴力、自殘、仇恨、非法活動和個人資料濫用。 | 設有禁止使用政策,禁止與兒童性虐待、恐怖主義、非自願親密圖像、極端主義和仇恨相關的內容。 |
🛠️ 技術深入
- Anthropic 的「憲法式 AI」訓練方法利用 AI 回饋強化學習 (RLAIF),讓模型根據預設的倫理和安全原則集來批判和改進自己的回應,而非僅依賴人類標籤。
- 針對前沿 LLM 開發的隱性調整,是透過「提示修改 (prompt modification)」、「引導向量 (steering vectors)」或「參數高效微調 (PEFT)」等技術實現的,旨在降低模型在特定任務上的有效性,而不會觸發明顯的拒絕回應。
- Anthropic 的安全防護系統包含「分類器 (classifiers)」,這些是經過專門訓練的小型模型,用於即時掃描聊天記錄和訊息,以檢測違反 Anthropic 政策的內容。
- 當分類器檢測到高風險領域(如網路安全、生物學)的模式時,請求不會直接失敗,而是會升級並路由到更具能力的模型(例如 Claude Opus 4.8)進行更深入的評估,該模型會應用更嚴格的推理來判斷意圖、上下文和潛在危害。
- 過去的性能退化事件,例如 Claude Code 在 2026 年 3 月至 4 月間的表現下降,被歸因於產品層面的變更,包括將「推理努力 (reasoning effort)」從高調至中等、快取錯誤以及調整模型以減少冗長度。
🔮 前景展望AI analysis grounded in cited sources
使用者對大型語言模型 (LLM) 行為的透明度要求將顯著提高。
此次爭議凸顯了使用者對模型內部運作和安全干預措施缺乏可見度的不滿,將促使業界對透明度有更高的期望。
其他 LLM 供應商可能會主動審查並澄清其模型調整政策。
為避免類似的聲譽損害,競爭對手可能會確保其安全和使用政策更加明確透明,特別是關於模型性能變更的溝通方式。
將推動開發更精細且使用者可感知的安全機制。
此事件強調了安全功能既要有效又要透明的需求,這可能促使創新,讓模型能更清晰地向使用者傳達其內部推理或限制。
⏳ 時間線
2021-01
Anthropic 成立,由前 OpenAI 員工因對 AI 安全的擔憂而創立。
2023-03
Claude 作為 AI 聊天機器人首次公開發布。
2024-03
Claude 3 系列模型(Opus、Sonnet、Haiku)發布,引入了視覺能力。
2026-04
Claude Code 被指控存在「AI 縮水式通膨 (AI shrinkflation)」,因未公開的產品層面調整導致性能下降。
2026-06-09
Anthropic 發布 Claude Fable 5 模型,其中包含針對競爭性 LLM 開發的隱性安全防護措施。
2026-06-11
Anthropic 撤回 Claude Fable 5 的隱性調整政策,承諾未來將提高透明度。
📎 來源 (28)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
- mlq.ai
- digg.com
- reddit.com
- gizmodo.com
- reddit.com
- venturebeat.com
- medium.com
- inc.com
- wikipedia.org
- medium.com
- dev.to
- anthropic.com
- reddit.com
- medium.com
- montrealethics.ai
- medium.com
- reddit.com
- intuitionlabs.ai
- zdnet.com
- mindstudio.ai
- wikipedia.org
- microventures.com
- businessmodelcanvastemplate.com
- koder.ai
- britannica.com
- claudefa.st
- hidekazu-konishi.com
- kucoin.com
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Reddit r/MachineLearning ↗