小米 MiMo 團隊幾乎全北大校友

🔑 增強重點摘要

• •MiMo 是小米首個開源推理模型，擁有 70 億參數，完全內部訓練，並在數學推理與編碼任務中超越 OpenAI 的 o1-mini 與阿里巴巴的 Qwen 系列[2][5]。
• •MiMo-V2-Flash 採用混合專家（MoE）架構，總參數 3090 億但推理時僅激活 150 億，速度達 150 個 token/秒，是小米 AGI 路線圖的第二步[3]。
• •團隊成員包括中國 AI 奇才 Luo Fuli，他最近從 DeepSeek 加入小米 MiMo 團隊，並貢獻推理代碼至 SGLang 以優化部署[3]。

🛠️ 技術深入

• •MiMo-V2-Flash 使用 FP8 混合精度訓練，預訓練 27 萬億 token，初始 32K 上下文窗後擴展至 256K[3]。
• •採用 Multi-Teacher On-Policy Distillation (MOPD) 後訓練方法，學生模型從自身生成回應學習，並獲領域專家模型的 token 級指導，避免曝光偏差[3]。
• •整合 Multi-Token Prediction (MTP)，預測 3-4 個 token 並平行驗證，提供 2-2.6x 加速無額外記憶體開銷[3]。
• •MIT 授權開源，無商業使用限制，並與 LMSYS 團隊合作優化部署[3]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線