Search

Tag: #model-quantization9 results

為 16GB VRAM 調校 Qwen3.8

一名 LocalLLaMA 使用者分享了在 Windows 上，於約 16GB VRAM 內執行 Qwen3.8 27B IQ4-XS-MTP GGUF 模型的配置。該設定透過將多模態元件與特定張量移至系統 RAM，以量化品質與速度換取 90K–100K 的上下文視窗。

Reddit r/LocalLLaMACommunity•6h ago#16gb-vram #gguf #model-quantization

Unsloth 發布新的 Qwen3.8-27B GGUF 量化版本，宣稱在相同檔案大小下準確度提升 10%。此次更新也包含可保留 77% 準確度、並能在 8GB RAM 上執行的 1-bit 量化版本。

NVIDIA 推出使用 QAD 與 NVIDIA Model Optimizer 開發的 Nemotron 3.5 Lightning NVFP4 checkpoint。在維持準確度的同時，模型大小從 66 GB 降至 22 GB，吞吐量最高提升 4 倍。

NVIDIA Developer BlogOfficial•4d ago#nvfp4 #model-quantization #throughput

Cloudflare 說明如何降低部署 Kimi 與 GLM 等前沿模型時的 GPU 記憶體需求。這套方法結合 KV 快取量化、模型權重壓縮與完整性檢查，以提升速度、降低成本並強化安全性。

Qwen3.5-35B-A3B 在 M1 64GB Mac 上獨力處理推理、編碼與分析，優於先前雙模型設定。透過 llama.cpp 以 27 tok/s 執行，提供更好的 Amazon 銷售分析結果。停用思考模式以達最佳速度品質平衡。

這個微調版 Qwen2.5-Coder-1.5B 模型可將自然語言需求轉換為 Shell 指令，並能在本機以每次查詢約 0.59 秒的速度運行。Q4_K_M 版本大小為 941MB，在 InterCode-ALFA 上 đạt 0.620 分，並包含靜態安全檢查器。

本研究評估了多語言編碼器與純英語編碼器在串流語音識別（ASR）中的表現。研究發現，多語言初始化僅在數據量較少時具有顯著優勢，隨著目標語言數據量的增加，該優勢會迅速減弱。

開發人員已在筆電上本地執行 LLM，規避雲端安全控制。得益於強大硬體、量化技術與輕鬆分發，這為 CISO 製造完整性、來源與合規盲點。傳統 DLP 無法偵測離線推論。

iOS 應用程式透過 CPU 上的決定性 CV 實現即時 1080p 30fps 去霧，零延遲。團隊探索選用量化 ML（U-Net/MobileNet 經 CoreML）以改善嚴重退化畫面的物件完整性。尋求社群對邊緣保存與延遲權衡的意見。