🦙較早收集於 69m

LLM 層複製發現 50% 深度危險區

PostLinkedIn
🦙閱讀原文: Reddit r/LocalLLaMA

💡繪製 LLM 電路圖:複製層提升弱模型,避免 50% 死亡區。

⚡ 30-Second TL;DR

有什麼變化

50-56% 深度危險區跨架構通用,層複製毀壞推理

為什麼重要

揭示 LLM 非模組化本質,引導弱模型層編輯提升能力。強調重複「多想」極限,啟發蒸餾與手術技術。

下一步行動

使用 MLX 在 Apple Silicon 上您的 7-9B 編碼模型測試 75% 深度層複製。

誰應關注:Researchers & Academics

關鍵要點

  • 50-56% 深度危險區跨架構通用,層複製毀壞推理
  • 複製晚期層(75-84%)將 Hybrid 9B 編碼分數從 4/10 提升至 7/10
  • 雙/三重疊加優質電路會干擾;刪除導致完全失敗
  • 32B 等強模型無變;無需重訓助弱模型
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Reddit r/LocalLLaMA

這是摘要,不是原文。去看原站,或訂閱每週簡報。

每週 AI 簡報

每週一封,可隨時退訂。