🦙Reddit r/LocalLLaMA•較早收集於 10h
修正錯誤解鎖 Qwen3.5 35B 潛力
💡一錯誤修正 = 頂尖開源 MoE 模型在消費 GPU 上連貫性提升 88%（28字元）
⚡ 30-Second TL;DR
有什麼變化
修正區塊 36/37 中 ssm_conv1d.weight 張量（60% 尺度異常）
為什麼重要
恢復先進開源權重 MoE 模型的完整潛力，用於本地使用。強調 AdamW 在 DeltaNet 等遞迴混合架構中的風險。
下一步行動
從 LuffyTheFox/Qwen3.5-35B-A3B-Uncensored-FernflowerAI-GGUF 下載修正 GGUF 並測試長上下文。
誰應關注：Developers & AI Engineers
關鍵要點
- •修正區塊 36/37 中 ssm_conv1d.weight 張量（60% 尺度異常）
- •錯誤降低 88.6%；長對話和程式碼生成連貫
- •MoE + DeltaNet 模型可在 RTX 3060 12GB 運行
- •提供升級系統提示和聊天模板
- •Hugging Face LuffyTheFox 儲存庫的 GGUF
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •此次修正揭示了 DeltaNet 架構在處理長序列時對權重異常的極度敏感性，特別是在 SSM（狀態空間模型）層的卷積權重初始化階段。
- •社群分析指出，該模型採用的 MoE（混合專家）架構在權重縮放錯誤下，會導致路由機制失效，進而引發模型在生成長文本時出現重複循環或邏輯崩潰。
- •LuffyTheFox 的修正版本不僅解決了權重問題，還針對 GGUF 量化過程中的 KV Cache 溢出問題進行了優化，提升了在消費級 GPU（如 RTX 3060）上的推理穩定性。
📊 競品分析▸ Show
| 特性 | Qwen3.5-35B-A3B (修正版) | Llama 3.1 8B | Mistral NeMo 12B |
|---|---|---|---|
| 架構 | MoE + DeltaNet | Dense Transformer | Dense Transformer |
| 參數規模 | 35B (活躍 3B) | 8B | 12B |
| 記憶體需求 | 低 (適合 12GB VRAM) | 中 | 中 |
| 長上下文能力 | 高 (修正後) | 中 | 高 |
🛠️ 技術深入
- 架構組成：結合了基於 SSM 的 DeltaNet 模組與 MoE 稀疏專家層，旨在平衡推理速度與模型容量。
- 異常根源：區塊 36 與 37 的
ssm_conv1d.weight權重分佈出現異常峰值，導致卷積運算輸出數值溢出（NaN/Inf），進而破壞後續層的激活函數。 - 修正機制：透過對異常張量進行線性縮放（Scaling），將權重分佈歸一化至預期範圍內，恢復了模型權重的數值穩定性。
- 量化優化：GGUF 版本採用了針對 DeltaNet 特化的量化策略，確保在 4-bit 量化下仍能保持 SSM 層的精度。
🔮 前景展望AI analysis grounded in cited sources
DeltaNet 架構將成為輕量化長上下文模型的標準。
該架構在低 VRAM 需求下展現出的長文本處理潛力，將促使更多開發者在邊緣運算設備上部署類似模型。
模型權重審計工具將成為開源社群發布模型的必要流程。
此次事件顯示權重初始化錯誤會嚴重影響模型表現，社群將更傾向於在發布前進行自動化的張量分佈檢查。
⏳ 時間線
2026-02
Qwen3.5 系列模型發布，引入 DeltaNet 與 MoE 混合架構。
2026-03
社群回報 Qwen3.5-35B-A3B 在長文本生成中出現嚴重邏輯錯誤與重複。
2026-04
LuffyTheFox 發布修正後的權重與 GGUF 版本，解決區塊 36/37 異常。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗