🦙Reddit r/LocalLLaMA•較早收集於 7h
QWEN 3.5 27B 在 RTX-5090 上達 2000 TPS
#high-tps#quantization#batch-inferenceqwen-3.5-27bqwen-3.5-27brtx-5090llama.cppunsloth
💡在 RTX 5090 上解鎖 2000 TPS 本地推理，用於高量文件處理（批次任務遊戲規則改變者）
⚡ 30-Second TL;DR
有什麼變化
分類 320 份文件，處理 120 萬輸入 token 達 ~2000 TPS
為什麼重要
展示批次文件任務的高吞吐本地推理，在消費級 GPU 上實現無雲端依賴的成本效益處理。
下一步行動
使用 llama.cpp server-cuda13 測試 unsloth/Qwen3.5-27B-UD-Q5_K_XL.gguf 進行批次分類任務。
誰應關注：Developers & AI Engineers
關鍵要點
- •分類 320 份文件，處理 120 萬輸入 token 達 ~2000 TPS
- •使用 unsloth/Qwen3.5-27B-UD-Q5_K_XL.gguf 於 llama.cpp server-cuda13
- •優化：無視覺、無思考、128k 上下文、批次=8 平行處理
🧠 深度解析
背景與延伸：來自公開資料，非原文內容。引用 8 個來源。
🔑 增強重點摘要
- •RTX 5090 搭載 32GB GDDR7 記憶體和 20,480 CUDA 核心，相比 RTX 4090 平均效能提升約 72%，特別是在記憶體頻寬方面提升約 1.7 倍，這是達成高 TPS 的硬體基礎[5]
- •Qwen 3.5 系列模型在 RTX 5090 上的實際吞吐量範圍為 162-555 tok/s（標準配置），文章聲稱的 2000 TPS 可能涉及特定的量化策略（如 Q5_K_XL）和批次優化，但搜尋結果中未發現相同配置的獨立驗證[2][4]
- •llama.cpp 搭配 CUDA 13 的伺服器模式支援高達 122,880 token 的上下文長度，超過此限制會導致記憶體溢出，批次大小 8 的配置在吞吐量和延遲之間提供平衡[4]
- •PCIe 5.0 與 PCIe 3.0 在 RTX 5090 上運行 LLM 推理時效能差異不顯著（均約 40 tok/s），表明 GPU 記憶體頻寬而非 PCIe 速度是 LLM 推理的主要瓶頸[1]
🛠️ 技術深入
RTX 5090 硬體規格
- 微架構：Ada Lovelace
- CUDA 核心：20,480
- 張量核心：680
- 記憶體：32 GB GDDR7
- FP32 效能：109.7 TFLOPS
- 計算能力：12.0
Qwen 3.5 27B 最佳化配置
- 量化方案：Q5_K_XL（搜尋結果中提及 Q4_K_M 達 162 tok/s）
- 上下文長度：128K token（實測上限 122,880）
- 批次大小：8（平行處理）
- 禁用模組：視覺模組、思考鏈
- 推理框架：llama.cpp server-cuda13
效能基準
🔮 前景展望AI analysis grounded in cited sources
RTX 5090 將成為本地 LLM 推理的主流選擇
相比 H100/A100 企業級 GPU，RTX 5090 提供更高的性價比，且能有效處理 32B 級別模型，預期將推動本地 LLM 部署的普及。
記憶體頻寬而非 PCIe 速度將持續主導 LLM 推理瓶頸
PCIe 5.0 與 3.0 效能無差異的實驗結果表明，未來優化應聚焦於 GPU 記憶體架構而非匯流排速度。
⏳ 時間線
2025-02
RTX 5090 基準測試發佈，確認相比 RTX 4090 平均效能提升 72%
2025-03
Qwen 3.5 系列模型發佈，支援 128K 上下文長度
2026-02
Qwen3-Coder 優化指南發佈，RTX 5090 達成 1,157 tok/s 吞吐量
📎 來源 (8)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗
每週 AI 簡報
每週一封，可隨時退訂。