Search

Tag: #amd7 results

⚙️

Strix Halo 上 HFQ4 預填充加速 3 倍

開發者為 hipfire 推理引擎新增實驗性 MMQ 預填充路徑,在 AMD Strix Halo (gfx1151) 上將 HFQ4-G256 提示處理加速 3 倍。基準測試顯示長預填充達 1140-1260 tok/s,橫跨多種 KV 模式。透過 HIPFIRE_MMQ=1 啟用,針對 RDNA3/3.5 GPU。

Reddit r/LocalLLaMACommunityApr 28#amd#inference#mmq
⚙️

Qwen3.6 35B-A3B 在 780M iGPU 上運行迅捷

Qwen3.6 35B-A3B MoE 模型透過 llama.cpp Vulkan 在 AMD Radeon 780M iGPU 上展現優異效能。基準測試顯示 ThinkPad T14 Gen 5(64GB RAM)達 282 pp/s 與 20 tg/s。使用者讚揚 Qwen 團隊,經核心調整後 Q6_K 順暢運行。

Reddit r/LocalLLaMACommunityApr 24#moe#igpu#benchmark
AMD R9700 96GB VRAM 勝過 5090 價格

AMD R9700 96GB VRAM 勝過 5090 價格

Reddit 貼文讚揚 AMD R9700 擁有 96GB VRAM,提供 RTX 5080 等級推理速度與品質。宣稱價格低於 RTX 5090,適合未來 AI 節點。使用者為第二張模糊照片致歉。

Reddit r/LocalLLaMACommunityApr 2#gpu#vram#inference