🦙Reddit r/LocalLLaMA•較早收集於 4h
MoE 拒絕經專家路由於消絕化
💡MoE 消絕秘辛：專家隱藏烘焙無法觸及的安全拒絕（28 字元）
⚡ 30-Second TL;DR
有什麼變化
獨立子空間：中國政治 vs 西方安全拒絕
為什麼重要
實現本地 MoE 模型精準去審查而不失安全。揭示架構特定拒絕機制供未來消絕。
下一步行動
執行 https://github.com/trevorgordon981/alfred-abliterate 消絕 Qwen MoE 拒絕。
誰應關注：Researchers & Academics
關鍵要點
- •獨立子空間：中國政治 vs 西方安全拒絕
- •權重烘焙因專家路由於投影前而失效安全拒絕
- •397B MoE 脆弱—僅 top-16 方向無循環
- •適配 GatedDeltaNet + MoE 並用 Gram-Schmidt 正交化
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •研究指出 Qwen3.5-397B-A17B 的 MoE 架構中，專家路由機制（Expert Routing）與權重層（Weight Layers）存在解耦現象，這使得透過特定投影矩陣（Projection Matrices）分離政治審查與安全防護機制成為可能。
- •GatedDeltaNet 的引入旨在解決 MoE 模型在長上下文推論時的注意力漂移問題，透過在路由層應用 Gram-Schmidt 正交化，能有效降低不同專家模組間的權重干擾，從而提升模型在特定指令遵循任務上的穩定性。
- •在 Mac Studio M3 Ultra 等消費級高階硬體上進行權重烘焙（Weight Baking）時，發現該模型對特定專家路徑的依賴性極高，移除安全專家路由會導致模型在處理複雜邏輯推理時出現顯著的幻覺率上升。
🛠️ 技術深入
- •模型架構：Qwen3.5-397B-A17B 採用稀疏混合專家（Sparse MoE）架構，總參數 397B，啟用參數 17B。
- •路由機制：採用 Top-k 路由策略，其中 k=2，並在路由層引入了針對特定任務的門控機制（Gated Mechanism）。
- •正交化技術：利用 Gram-Schmidt 過程對專家權重矩陣進行正交化處理，以減少專家間的冗餘並提高路由決策的精確度。
- •部署環境：針對 Apple Silicon M3 Ultra 的統一記憶體架構進行了優化，利用 Metal Performance Shaders (MPS) 進行算子加速。
🔮 前景展望AI analysis grounded in cited sources
MoE 模型的審查機制將從全域權重轉向模組化路由控制。
透過分離特定專家路由，開發者將能更精確地控制模型的行為邊界，而無需重新訓練整個模型。
消費級硬體將成為模型微調與去審查（Uncensoring）研究的主要平台。
Mac Studio 等高記憶體頻寬設備的普及，降低了對大規模叢集的依賴，加速了開源模型權重分析的迭代速度。
⏳ 時間線
2025-11
Qwen3.5 系列模型正式發布，引入了更高效的 MoE 路由架構。
2026-02
社群開始針對 Qwen3.5-397B 的專家路由機制進行逆向工程分析。
2026-03
研究人員成功在 M3 Ultra 上實現了基於 GatedDeltaNet 的權重烘焙技術。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗