馬斯克下場點讚！Kimi 這篇論文撬動了大模型的「祖傳地基」

🔑 增強重點摘要

• •Kimi K2 是 Moonshot AI 開發的 Mixture-of-Experts (MoE) 大語言模型，總參數 1 兆，激活參數 320 億，使用 MuonClip 優化器在 15.5 兆 token 上預訓練，無損失尖峰問題。[2]
• •Kimi K2.5 為多模態模型，支援視覺輸入，透過 15 兆混合視覺與文字 token 聯合預訓練，引入 Agent Swarm 技術實現代理並行執行，提升 4.5 倍速度，並以 MIT 授權開源。[3][4][5]
• •該模型在代理基準 Tau2-Bench 得分 66.1、SWE-Bench Verified 65.8 等領先開源模型，尤其在軟體工程與代理任務表現突出。[2][5]

🛠️ 技術深入

• •架構：MoE 模型，61 層 (含 1 密集層)，64 注意頭，384 專家 (每 token 選 8 個 + 1 共享)，詞彙 160K token，使用 MLA (Multi-head Latent Attention) 注意機制。[5]
• •視覺編碼器：MoonViT (400M 參數)，採用 early fusion 方法，將視覺特徵經空間-時間池化後投影至語言模型。[3][5]
• •訓練：15 兆混合視覺/文字 token 聯合預訓練，後續延伸至 256K 上下文，使用 Visual RL 提升視覺指令數據品質，並強化文字效能。[2][4][5]
• •優化：MuonClip 優化器，引入 QK-clip 技術解決訓練不穩定；Agent Swarm 使用「關鍵步驟」測量優化並行執行。[2][5]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線