Search

Tag: #quantization201 results

谷歌 TurboQuant 縮減 AI 記憶體 6 倍

谷歌 TurboQuant 將 AI 記憶體使用量縮減 6 倍，導致 SanDisk 和 Micron 股價下跌。本文拆解其背後的軟硬體博弈。這可能刺激多模態 AI 在企業與消費端的規模化應用。

钛媒体Media•Mar 26#quantization#memory-optimization#multimodal

Google TurboQuant 加速 AI 記憶 8 倍，成本降 50%

Google Research 發布 TurboQuant，一套軟體演算法組合，平均壓縮 KV 快取記憶體 6 倍，並加速注意力 logits 計算 8 倍。此無需訓練的解決方案可將企業 AI 推論成本降低 50% 以上，且不損模型智慧。包含 PolarQuant 和 QJL 的開源演算法現已開放，提前於 ICLR 和 AISTATS 2026 會議。

VentureBeatMedia•Mar 25#kv-cache#quantization#llm-inference

Google TurboQuant 降低 AI 記憶體不損品質

Google 發表 TurboQuant，一種新壓縮技術，可降低 AI 模型記憶體使用量。它不像其他方法損失輸出品質。此技術提升 AI 部署效率。

Ars Technica AIMedia•Mar 25#model-compression#quantization#memory-optimization

壓縮順序：先剪枝還是先量化？

這篇 arXiv 論文探討聯合模型壓縮中剪枝與量化的順序是否重要。它提出漸進強度假說，主張較弱擾動應先於較強者，並提供理論保證。在語言與視覺模型上的廣泛實驗證實其適用於多階段與混合精度設定。

ArXiv AIResearch•Mar 21#pruning#quantization#compression-order

NextMem：LLM 代理的潛在事實記憶

NextMem 是用於 LLM 代理的潛在事實記憶框架，利用自回歸自編碼器實現高效記憶建構與精準重建。它採用兩階段訓練流程，包括自回歸重建對齊與漸進潛在替換，並加入量化以降低儲存開銷。實驗顯示其在檢索、穩健性與擴展性上表現優異；程式碼已在 GitHub 開源。

ArXiv AIResearch•Mar 18#memory-augmentation#llm-agents#autoencoder

Mistral 推出官方 NVFP4 模型

Mistral 推出首款官方 NVFP4 量化模型 Mistral-Small-4-119B-2603-NVFP4。此模型針對 NVIDIA 硬體，提供大模型高效推論。

Reddit r/LocalLLaMACommunity•Mar 16#model-launch#quantization#nvidia-optimized