🦙Reddit r/LocalLLaMA•較早收集於 2h
397B Qwen3.5 在 $2100 桌上型電腦上達 9 tok/s
💡在 $2K PC 上以 9 tok/s 運行 400B MoE – 本地 AI 推論突破
⚡ 30-Second TL;DR
有什麼變化
兩張 $500 GPU + 32GB RAM 運行 397B Qwen3.5 達 5-9 tok/s
為什麼重要
革新巨型 MoE 模型的本地推論，讓旗艦 AI 在消費級桌上型電腦上可及，無需雲端依賴。降低建構者在家實驗 400B 規模模型的門檻。
下一步行動
下載 Qwen3.5 Q4_K_M 量化模型，並在雙 RTX 4090 設定中測試 FOMOE。
誰應關注：Developers & AI Engineers
關鍵要點
- •兩張 $500 GPU + 32GB RAM 運行 397B Qwen3.5 達 5-9 tok/s
- •60% VRAM 命中率將 NVMe 讀取降至 28%，CAR 降至 7%
- •雙 GPU 交替重疊載入與運算
- •快取感知路由僅造成 wikitext 3.5% 困惑度下降
- •15K 行 C/HIP 程式碼支援消費級硬體推論
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗