TurboQuant Python 實作發布

#quantization#vector-db#transformersturboquantturboquantnumpy

💡無校準 KV 快取量化—無需訓練，適用串流資料 (28字)

⚡ 30-Second TL;DR

有什麼變化

無需校準資料或特定資料集調整

為什麼重要

簡化 LLM 等即時應用的量化，減少預處理需求，並實現跨資料集的通用量化器。

下一步行動

複製 github.com/yashkc2025/turboquant 並在你的 Transformer KV 快取上基準測試。

誰應關注：Researchers & Academics

本篇為 AI 生成分析，非原文內容。

•TurboQuant 的核心機制基於 Johnson-Lindenstrauss (JL) 引理，透過隨機正交矩陣將高維向量投影至低維空間，從而顯著降低量化過程中的資訊損失。
•該實作特別針對大型語言模型 (LLM) 的 KV 快取進行了優化，能夠在保持模型推理精度的同時，將記憶體佔用量降低至原始 FP16 的 1/8 甚至更低。
•與傳統的訓練後量化 (PTQ) 不同，TurboQuant 屬於線上量化技術，無需在部署前對模型進行額外的微調或準備校準數據集，極大降低了部署門檻。

📊 競品分析▸ Show

特性	TurboQuant	GPTQ	AWQ	QuIP#
校準資料需求	無需	需要	需要	需要
量化類型	線上 (Online)	離線 (Offline)	離線 (Offline)	離線 (Offline)
適用場景	動態 KV 快取	靜態權重壓縮	靜態權重壓縮	靜態權重壓縮
核心技術	隨機旋轉 + 1D 量化	二階導數資訊	權重顯著性分析	隨機旋轉 + 晶格量化

隨機旋轉 (Random Rotation)：利用隨機正交矩陣對輸入向量進行旋轉，使數據分佈趨向於各向同性，從而緩解量化誤差在特定維度上的集中問題。
無偏點積修正 (Unbiased Dot Product Correction)：針對 1-bit 量化引入的偏差，透過計算量化誤差的期望值並進行補償，確保點積運算的數值穩定性。
線上處理流程：
- 接收輸入向量。
- 應用預先定義或即時生成的隨機旋轉矩陣。
- 執行逐維度 1D 量化 (Scalar Quantization)。
- 在計算點積時應用修正因子以恢復精度。