🦙Reddit r/LocalLLaMA•較早收集於 57m
Mistral-Small-4-119B-2603-GGUF 現已推出！
#quantization#local-inference#open-modelmistral-small-4-119b-2603-ggufmistralgguf
💡Mistral 119B 的全新 GGUF 量化版，用於本地運行 – 離線 AI 開發者的重大利好！(38字)
⚡ 30-Second TL;DR
有什麼變化
Mistral-Small-4-119B-2603 的全新 GGUF 版本發布
為什麼重要
此發布讓大型 119B 參數 Mistral 模型可在本地硬體上運行，降低雲端成本並提升開發者的隱私保護。它強化了開源本地 AI 生態系統。
下一步行動
從 r/LocalLLaMA 貼文下載 GGUF 檔案，並使用 llama.cpp 測試推理。
誰應關注：Developers & AI Engineers
關鍵要點
- •Mistral-Small-4-119B-2603 的全新 GGUF 版本發布
- •發布於 r/LocalLLaMA，並附連結
- •由 /u/KvAk_AKPlaysYT 提交
- •支援透過 llama.cpp 生態系統的本地 LLM 部署
🧠 深度解析
背景與延伸：來自公開資料，非原文內容。引用 4 個來源。
🔑 增強重點摘要
- •Mistral-Small-4-119B-2603 是 Mistral 首個統一旗艦模型 Magistral（推理）、Pixtral（多模態）和 Devstral（代理編碼）能力的單一多功能模型。
- •GGUF 版本為 post-training-activation 量化，使用 llm-compressor 製作，與 vLLM 和 Red Hat 團隊合作，並感謝 NVIDIA 對 SGLang 和 vLLM 的貢獻。
- •Mistral 同時發布官方 NVFP4 版本（Mistral-Small-4-119B-2603-NVFP4），針對 NVIDIA DGX Spark / GB10 硬體優化。
- •模型基準包括 GPOA Diamond 71.2、MMLU Pro 78.0、AllenAI IFBench 48.0、Arena Hard 58.3 和 MMMU-Pro 60.0。
📊 競品分析▸ Show
| 模型 | GPOA Diamond | MMLU Pro | AllenAI IFBench | Arena Hard | MMMU-Pro |
|---|---|---|---|---|---|
| Mistral-Small-4-119B | 71.2 | 78.0 | 48.0 | 58.3 | 60.0 |
| GLM 4.5 Air | 73.0 | 81.4 | 38.0 | ?? | N/A (無視覺) |
🛠️ 技術深入
- •GGUF 檢查點為 mistralai/Mistral-Small-4-119B-2603 的 post-training-activation 量化版本。
- •使用 llm-compressor 工具製作，屬於與 vLLM 和 Red Hat 團隊的合作項目。
- •NVFP4 版本專為 NVIDIA DGX Spark / GB10 設計，提供硬體加速本地推理。
- •採用 granular Mixture-of-Experts (MoE) 架構，融合指令、推理和代理技能。
🔮 前景展望AI analysis grounded in cited sources
將加速 DGX Spark 上 Mistral 模型的本地部署採用率
官方 NVFP4 版本和 50%+ 效能改善討論顯示其針對 NVIDIA 新硬體的優化，將推動高效邊緣 AI 應用。
推動開源量化工具如 llm-compressor 的產業標準化
跨團隊合作發布高品質 GGUF 版本，感謝 NVIDIA 和 vLLM 貢獻，將提升後訓練量化技術的可靠性和普及度。
⏳ 時間線
2026-03
Mistral-Small-4-119B-2603 發布，包含 GGUF 和 NVFP4 版本
2026-02
Devstral 2 系列（123B 和 24B）更新，為 Small-4 統一能力鋪路
📎 來源 (4)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗
每週 AI 簡報
每週一封，可隨時退訂。