Search

直接匹配不多,已補上最新動態。

Tag: #metal2 results

RotorQuant:比 TurboQuant 快 10-19 倍

RotorQuant:比 TurboQuant 快 10-19 倍

RotorQuant 利用 Clifford 轉子進行向量量化,比 TurboQuant 快 10-19 倍,參數僅 1/44。它在 Qwen2.5-3B KV 快取上餘弦相似度近乎相同(0.990),並在融合 CUDA/Metal 核心中表現出色。程式碼與論文現已開放。

Reddit r/LocalLLaMACommunityMar 26#quantization#kv-cache#cuda