Search

直接匹配不多,已補上最新動態。

Tag: #mtp-gguf1 results

⚙️

RTX 3090 上 Qwen 3.6 27B 達 50 t/s

教學分享使用 MTP GGUF Qwen3.6-27B 在 RTX 3090 上達 50 令牌/秒,搭配 llama.cpp PR #22673 及 100k 上下文。提供精確伺服器指令,使用 Q4 快取、spec-type mtp 及最佳化。提及 MAC 版 mtplx 支援。

Reddit r/LocalLLaMACommunityMay 6#mtp-gguf#llama-cpp