🦙Reddit r/LocalLLaMA•較早收集於 4h
397B Qwen MoE 在 RTX 5090 上達 20 t/s
💡單 5090 透過 RAM 卸載運行 397B MoE TG 20 t/s—本地前沿可行
⚡ 30-Second TL;DR
有什麼變化
ngl 999 下 397B Q4_K_M 提示 717 t/s、TG 20 t/s
為什麼重要
證明單高階消費 GPU 加充足系統 RAM 可高效處理 400B 級 MoE，讓前沿模型本地化更普及。
下一步行動
使用 llama-bench 加 CPU FFN 卸載，在你的 5090 上基準 Qwen3.5-397B-A17B Q4_K_M。
誰應關注：Developers & AI Engineers
關鍵要點
- •ngl 999 下 397B Q4_K_M 提示 717 t/s、TG 20 t/s
- •128k 上下文 ngl 99 下提示 562 t/s
- •200k 上下文仍維持 TG 17.87 t/s
- •FFN 層使用 AMD EPYC CPU 卸載
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •此技術實現依賴於 llama.cpp 的『CPU Offloading』功能，透過將 MoE 模型中不常使用的 FFN（前饋神經網絡）層卸載至系統 RAM，有效突破了單張 RTX 5090 僅 32GB VRAM 的物理限制。
- •該測試環境中使用的 AMD EPYC 處理器提供了高頻寬的 PCIe 通道，這對於緩解 CPU 與 GPU 之間頻繁的權重交換帶來的延遲至關重要，是維持 20 t/s 生成速度的關鍵硬體基礎。
- •Qwen3.5-397B-A17B 採用了稀疏激活（Sparse Activation）架構，這意味著在推理過程中僅有極小部分的參數被激活，使得在消費級硬體上運行超大規模模型成為可能，而非僅僅依賴暴力計算。
📊 競品分析▸ Show
| 模型名稱 | 架構類型 | 推理需求 | 效能表現 (消費級硬體) |
|---|---|---|---|
| Qwen3.5-397B-A17B | MoE (稀疏) | 高 (需 CPU 卸載) | 約 20 t/s (RTX 5090) |
| Llama-3.3-405B | Dense | 極高 (需多卡) | 較低 (單卡無法運行) |
| DeepSeek-V3 | MoE (稀疏) | 高 (需 CPU 卸載) | 類似 Qwen 的優化路徑 |
🛠️ 技術深入
- MoE 卸載策略：利用 llama.cpp 的
mmap與offload機制，將模型權重分層映射。MoE 的專家層（Experts）被策略性地分配至系統 RAM，僅將注意力機制（Attention）層保留在 VRAM 以維持推理速度。 - PCIe 頻寬瓶頸：在 CPU 與 GPU 之間傳輸 FFN 權重時，PCIe 5.0 x16 的頻寬是維持 20 t/s 的硬性門檻，若頻寬不足會導致生成速度顯著下降。
- 量化技術：使用 Q4_K_M 量化格式，在保持模型困惑度（Perplexity）損失最小化的同時，將 397B 參數模型的記憶體佔用壓縮至消費級硬體可容納的範圍。
🔮 前景展望AI analysis grounded in cited sources
消費級 GPU 將成為運行超大規模 MoE 模型的標準平台。
透過 CPU 卸載與高效量化技術，單張旗艦顯卡已能運行數千億參數模型，降低了企業與開發者對昂貴 H100/B200 叢集的依賴。
系統記憶體頻寬將成為影響 LLM 推理速度的下一個關鍵瓶頸。
隨著模型參數規模持續擴大，CPU 卸載技術將使系統 RAM 的存取速度直接決定推理的 Token 生成率。
⏳ 時間線
2024-09
阿里雲發布 Qwen2.5 系列模型，奠定 MoE 架構基礎。
2025-02
Qwen3.5 系列模型發布，進一步優化稀疏激活效率。
2026-01
NVIDIA RTX 5090 正式上市，提供消費級市場前所未有的 VRAM 與算力。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗