🦙Reddit r/LocalLLaMA•最新收集於 6h
K2-Horizon 以 4B 活躍參數達成前沿級表現
#mixture-of-experts#long-context#open-weights#agentic-reasoningk2-horizon-mova-36b-a4bifmk2-horizonhugging-facegguf
💡僅啟用 4B 參數的開放模型，宣稱具備前沿推理能力與原生 512K 上下文。
⚡ 30-Second TL;DR
有什麼變化
模型總參數量為 36B，但每個 token 僅啟用 4B 參數。
為什麼重要
這款模型可能讓受限硬體上的前沿級推理與代理工作負載變得更實用。其計畫公開訓練資產，也有助於研究人員分析能力演進與稀疏模型效率。
下一步行動
下載 K2-Horizon-MoVA-36B-A4B GGUF，並在目標硬體上測試其推理能力、上下文記憶與每秒 token 效能。
誰應關注：Researchers & Academics
關鍵要點
- •模型總參數量為 36B，但每個 token 僅啟用 4B 參數。
- •從中期訓練階段起提供原生 524,288-token 上下文視窗。
- •IFM 稱其在代理與推理基準上可媲美遠大型開放及封閉模型。
- •IFM 計畫公開中間檢查點、訓練資料、訓練配方與程式碼。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗
每週 AI 簡報
每週一封，可隨時退訂。