🦙Reddit r/LocalLLaMA•較早收集於 62m
雙 7900 XTX 在 Qwen3.5-35B 上達 123 tok/s
#amd-gpu#moe-inference#llama-benchllama.cpp-vulkan-on-dual-rx-7900-xtxrx-7900-xtxqwen3.5-35bllama.cppvulkan
💡雙 AMD GPU 123 tok/s 勝 NVIDIA—本地 35B MoE 關鍵（28字元）
⚡ 30-Second TL;DR
有什麼變化
雙 7900 XTX Vulkan：Qwen3.5-35B-A3B Q4_K_M 上 TG128 123 tok/s、PP512 2,647 tok/s
為什麼重要
展示 AMD GPU 上 Vulkan 後端的成熟，用於高速 MoE 推理，讓雙消費級卡適用 35B 模型。目前強調 llama.cpp 優於 ROCm 上的 vLLM。
下一步行動
使用 llama.cpp Vulkan build b8516 在 Qwen3.5-35B 上基準測試你的雙 7900 XTX。
誰應關注：Developers & AI Engineers
關鍵要點
- •雙 7900 XTX Vulkan：Qwen3.5-35B-A3B Q4_K_M 上 TG128 123 tok/s、PP512 2,647 tok/s
- •優於單一 7900 XTX HIP (76-78 tok/s) 及 RTX 3090 CUDA (111 tok/s)
- •vLLM ROCm 故障：5 tok/s 垃圾輸出、OOM 問題
- •llama.cpp HIP graphs：86 tok/s TG，穩固替代方案
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Vulkan 後端在 AMD 硬體上的效能優勢主要歸功於其跨平台抽象層，避開了 ROCm 在特定模型架構（如 MoE）上尚未完善的編譯器優化路徑。
- •Qwen3.5-35B-A3B 採用了混合專家模型（MoE）架構，雙卡配置下的效能瓶頸在於 PCIe 頻寬與跨卡互連（P2P）的延遲，而非單純的 VRAM 容量。
- •社群開發者指出，llama.cpp 的 Vulkan 實作目前在記憶體管理上比 HIP 更具彈性，能有效減少在處理大型權重時的碎片化問題。
📊 競品分析▸ Show
| 比較項目 | 雙 RX 7900 XTX (Vulkan) | RTX 3090 (CUDA) | RTX 4090 (CUDA) |
|---|---|---|---|
| 預估效能 (tok/s) | ~123 | ~111 | ~160+ |
| VRAM 容量 | 48GB (24GBx2) | 24GB | 24GB |
| 軟體生態 | 成長中 (Vulkan/HIP) | 成熟 (CUDA) | 成熟 (CUDA) |
| 性價比 | 極高 (二手市場優勢) | 中等 | 低 (高昂溢價) |
🛠️ 技術深入
- 架構特性：Qwen3.5-35B-A3B 為 MoE 模型，其推理效能高度依賴於專家路由（Expert Routing）的並行處理效率。
- Vulkan 實作細節：利用
vkCmdDispatch進行算子融合，減少了 CPU 與 GPU 之間的指令提交開銷，這在處理高頻率令牌生成時顯著降低了延遲。 - 記憶體映射：雙卡配置下，llama.cpp 透過 Vulkan 記憶體分配器（VMA）實現了跨裝置的權重分佈，避免了傳統 ROCm 環境下常見的記憶體對齊錯誤。
🔮 前景展望AI analysis grounded in cited sources
AMD GPU 將成為本地 LLM 推理的高性價比首選
隨著 Vulkan 後端在 llama.cpp 的成熟，AMD 硬體在不依賴複雜 ROCm 堆疊的情況下即可達成與 NVIDIA 高階卡相當的效能。
MoE 模型將推動多卡推理技術的標準化
由於 MoE 模型對 VRAM 的需求與算力分佈特性，未來推理引擎將更側重於優化跨卡互連的通訊效率。
⏳ 時間線
2024-05
llama.cpp 正式引入 Vulkan 後端支援以提升跨平台相容性
2025-02
AMD 發布 ROCm 6.x 版本，嘗試改善對消費級 RDNA 3 架構的支援
2026-01
Qwen3.5 系列模型發布，引入 A3B (Active 3B) MoE 架構
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗