Search

Tag: #quantization201 results

Qwen3.5-35B-A3B RTX 5080 基準測試更新

社群要求的 Qwen3.5-35B-A3B 實驗證實 KV q8_0 量化提升吞吐量而不損品質。Q4_K_M 仍是最佳表現者，使用 --fit 達 74.7 tok/s。KL 散度顯示 UD-Q4_K_XL 表現明顯較差。

Reddit r/LocalLLaMACommunity•Feb 27#quantization #benchmarks #moe

Qwen3.5-35B-A3B 的 Q4 量化詳細比較，使用 KLD 測忠實度及 PPL 測困惑度。AesSedai 的 Q4_K_M 以保護關鍵張量獲最低 KLD 而卓越。效率冠軍 AesSedai IQ4_XS 僅 16GB 表現優異。

Reddit r/LocalLLaMACommunity•Feb 26#quantization #kld #perplexity

bitsandbytes 創作者 Tim Dettmers 正預告一種新的量化方法，據稱可在單台 DGX Spark 上以 7 tok/s 執行 GLM 5.3。相關說法尚未獲得驗證，社群也提醒，許多看似有前景的量化方案最終並未實際普及。

llama.cpp 的一項新 PR 為 CPU 後端引入了 Q2_0 量化支援。此更新旨在讓 Ternary Bonsai 模型 (1.7B, 4B, 8B) 能夠在本地硬體上高效運行。

Reddit r/LocalLLaMACommunity•Jul 8#quantization #local-llm #cpu-inference

一項針對 Qwen 3.6 與 Gemma 4 模型不同量化等級的主觀基準測試。結果顯示，較低的量化等級會顯著降低模型處理複雜程式碼與創意任務的能力。

此討論探討將 FP32 模型量化為 FP8 等低精度格式的影響。文中針對資訊損失以及模型大小與準確度之間的權衡進行了探討。

Reddit r/MachineLearningCommunity•Jul 7#quantization #model-deployment

用戶分享了 Qwen 3.6 27B 模型的 AutoRound GGUF 量化版本，並強調其在程式編寫任務中的高效表現。該貼文邀請社群針對此模型與其他量化方法的效能進行反饋。

Reddit r/LocalLLaMACommunity•Jun 10#quantization #gguf #local-llm

Unsloth 發布了一系列使用 QAT（量化感知訓練）與 MTP 技術的 Gemma 4 助理模型，並提供 GGUF 格式下載。

Reddit r/LocalLLaMACommunity•Jun 9#quantization #local-llm #optimization

Soro 是一系列基於 Gemma 3 開發、專為塔吉克語優化的輕量級大型語言模型，旨在適應低算力環境。該模型透過 19 億詞元的專屬語料庫進行預訓練與指令微調，以提升在塔吉克教育領域的應用表現。

OpenAI 的 Parameter Golf 活動吸引超過 1,000 名參與者和 2,000 多份投稿。它探討 AI 輔助的機器學習研究、程式碼代理、量化，以及在嚴格限制下的新型模型設計。此活動揭示了推進 AI 驅動研究的關鍵啟示。

Page 10 of 21