在 5060ti + 1080ti 上運行 35B/120B 模型

#multi-gpu#rpc#local-inferencellama.cppllama.cppqwen3.5-35b-a3bnemotron-3-super-120b-a12b

💡技巧：結合 5060ti+1080ti 經 llama.cpp RPC 達 35B Qwen 60t/s—完整指南

⚡ 30-Second TL;DR

有什麼變化

Qwen3.5-35B-A3B Q4_K_M：經 RPC 在 5060ti + 1080ti 上 60tok/s

為什麼重要

實現消費級/舊 GPU 運行巨型模型，延長硬體壽命並普及本地 100B+ LLM 存取。

下一步行動

使用 CUDA 和 RPC 旗標建置 llama.cpp，然後在混合 GPU 上測試 Qwen3.5-35B，使用 VM 直通。

誰應關注：Developers & AI Engineers

背景與延伸：來自公開資料，非原文內容。引用 7 個來源。

•Qwen3.5-35B-A3B 採用 Mixture-of-Experts 架構，總參數 35B，每 token 僅激活 3B（256 專家中路由 8 個 + 1 共享專家）。[1][5]
•模型支援多模態輸入（文字與圖像），上下文長度達 262k tokens，可擴展至 1,010k tokens，並在 MMLU-Pro 得分 85.3%。[2][5]
•在 API 基準測試中，輸出速度達 159.9 tokens/s，遠高於同級開源模型中位數 96.8 t/s，且 Intelligence Index 得分 37。[2]

📊 競品分析▸ Show

模型	架構	活躍參數	基準速度 (t/s)	價格 (USD/1M tokens)
Qwen3.5-35B-A3B	MoE (256 experts)	3B	159.9 [2]	未指定 [2]
NVIDIA Nemotron 3 Super 120B A12B	MoE	12B	447.7 [3]	未指定 [3]
Qwen3.5-27B	Dense	27B	~7.5 (Q8 local) [4]	未指定 [4]

•隱藏維度：2048，層數：40，注意力頭數：Q 16 / KV 2，頭維度：Q 128 / KV 256，旋轉位置嵌入維度：64。[1][5]
•激活函數：SwigLU，歸一化：RMS Normalization，專家中間維度：512，LM 輸出：248320 (填充)。[1][5]
•支援 Grouped-Query Attention，上下文長度原生 262,144 tokens，可擴展至 1,010,000 tokens，使用多步驟訓練 (MTP)。[1][5]