🦙Reddit r/LocalLLaMA•較早收集於 2h
TQ3_1S 在 27B 模型上媲美 Q4_0
💡27B 模型在 16GB GPU 上達 Q4 品質–中階硬體本地 AI 突破。（38字）
⚡ 30-Second TL;DR
有什麼變化
TQ3_1S 在 wiki.test.raw 上 PPL 7.2570 對 Q4_0 7.2431
為什麼重要
這讓 27B 等大型模型能在消費級 16GB GPU 上運行，減少對 API 的依賴。本地推理更普及給中階硬體的使用者和開發者。
下一步行動
Fork llama.cpp 並將 Qwen3.5-27B 量化為 TQ3_1S，在你的 16GB GPU 上測試。
誰應關注：Developers & AI Engineers
關鍵要點
- •TQ3_1S 在 wiki.test.raw 上 PPL 7.2570 對 Q4_0 7.2431
- •大小 12.9GB 對 Q4_0 14.4GB，小 10%
- •27B 模型完整適合 16GB RTX 5060 Ti
- •提示速度 130.87 tok/s，生成 15.55 tok/s
- •受 TurboQuant 及 RaBitQ 啟發
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •TQ3_1S 採用了基於 Walsh-Hadamard 變換的旋轉矩陣技術，旨在將權重分佈均勻化，從而顯著降低低位元量化帶來的資訊損失。
- •該格式引入了雙半區塊尺度（Dual Half-Block Scaling）機制，允許在更細的粒度上調整量化參數，有效緩解了 3.5 位元下常見的局部精度崩潰問題。
- •TQ3_1S 的實作深度整合了 llama.cpp 的 CUDA 核心，透過優化記憶體存取模式，在保持高壓縮比的同時，實現了接近 Q4_0 的推理延遲表現。
📊 競品分析▸ Show
| 格式 | 位元數 | 壓縮效率 | 推理速度 | 適用場景 |
|---|---|---|---|---|
| Q4_0 (GGUF) | 4.0 | 標準 | 高 | 通用平衡 |
| TQ3_1S | 3.5 | 高 | 中高 | 顯存受限設備 |
| IQ3_M/XS | 3.0-3.5 | 極高 | 中 | 極致壓縮 |
| EXL2 (3.5bpw) | 3.5 | 高 | 極高 | 僅限 NVIDIA GPU |
🛠️ 技術深入
- Walsh-Hadamard 旋轉 (WHT)：用於在量化前對權重矩陣進行正交變換，將權重分佈轉化為更適合量化的形式，減少異常值影響。
- 8 質心量化 (8-centroid quantization)：將權重分組並映射到 8 個預定義的質心，實現比傳統線性量化更高的資訊密度。
- 雙半區塊尺度 (Dual Half-Block Scaling)：將區塊進一步細分為兩個半區塊，分別計算尺度因子，提升對權重分佈變化的適應性。
- CUDA 核心優化：針對 NVIDIA 架構優化了反量化（dequantization）過程，減少了計算開銷，確保在 3.5 位元下仍能維持高吞吐量。
🔮 前景展望AI analysis grounded in cited sources
TQ3_1S 將成為 16GB 顯存設備運行 27B-32B 規模模型的標準配置。
該格式成功將模型體積壓縮至 16GB 以下，消除了對系統記憶體卸載（Offloading）的需求，大幅提升了推理速度。
量化技術將從單純的位元數減少轉向基於矩陣變換的資訊保留策略。
TQ3_1S 的成功證明了透過數學變換（如 WHT）優化權重分佈，比單純增加位元數更能有效提升低位元量化的困惑度表現。
⏳ 時間線
2025-09
TurboQuant 技術發布，為後續的旋轉矩陣量化奠定基礎。
2025-12
RaBitQ 論文發表，提出利用隨機旋轉矩陣提升量化精度。
2026-03
llama.cpp 社群開始測試 TQ3_1S 格式，並針對 Qwen3.5 模型進行基準測試。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗