🦙Reddit r/LocalLLaMA•較早收集於 69m
LLM 層複製發現 50% 深度危險區
💡繪製 LLM 電路圖:複製層提升弱模型,避免 50% 死亡區。
⚡ 30-Second TL;DR
有什麼變化
50-56% 深度危險區跨架構通用,層複製毀壞推理
為什麼重要
揭示 LLM 非模組化本質,引導弱模型層編輯提升能力。強調重複「多想」極限,啟發蒸餾與手術技術。
下一步行動
使用 MLX 在 Apple Silicon 上您的 7-9B 編碼模型測試 75% 深度層複製。
誰應關注:Researchers & Academics
關鍵要點
- •50-56% 深度危險區跨架構通用,層複製毀壞推理
- •複製晚期層(75-84%)將 Hybrid 9B 編碼分數從 4/10 提升至 7/10
- •雙/三重疊加優質電路會干擾;刪除導致完全失敗
- •32B 等強模型無變;無需重訓助弱模型
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Reddit r/LocalLLaMA ↗
每週 AI 簡報
每週一封,可隨時退訂。