🦙Reddit r/LocalLLaMA•較早收集於 63m
16GB VRAM用戶雙GPU黑客技巧
💡廉價VRAM技巧在混合GPU運行30B模型達19t/s（20字）
⚡ 30-Second TL;DR
有什麼變化
經Vulkan裝置結合16GB + 6GB GPU
為什麼重要
使用llama-server Vulkan支援，將16GB GPU搭配舊6GB+卡運行30B模型。split-mode=layer及no-mmap等設定最小化RAM使用。在Qwen3.6-27B 128k上下文達19t/s評估速度。
下一步行動
執行`llama-server --list-devices`識別Vulkan ID，並測試雙GPU設定。
誰應關注：Developers & AI Engineers
關鍵要點
- •經Vulkan裝置結合16GB + 6GB GPU
- •設定：n-gpu-layers=999, split-mode=layer, np=1
- •22GB總VRAM運行27B Q4_K_M模型
- •128k上下文達19.21 t/s評估、186 t/s提示
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗