Kimi新架構讓馬斯克嘆服！17歲高中生作者一戰成名

🔑 增強重點摘要

• •Kimi Linear是由Moonshot AI團隊開發的混合線性注意力架構，核心為Kimi Delta Attention (KDA)，首次在短上下文、長上下文及RL擴展情境中超越全注意力機制。[1]
• •該架構採用3B激活參數、48B總參數的預訓練模型，結合KDA與Multi-Head Latent Attention (MLA)，減少KV快取使用量達75%，解碼吞吐量提升至6倍。[1]
• •Kimi Linear透過Diagonal-Plus-Low-Rank (DPLR)轉移矩陣的特殊變體實現高效硬體計算，與經典delta規則一致。[1]

🛠️ 技術深入

• •Kimi Linear核心模組Kimi Delta Attention (KDA)延伸Gated DeltaNet，引入更細粒度閘控機制，提升有限狀態RNN記憶利用率。[1]
• •使用chunkwise演算法及Diagonal-Plus-Low Rank (DPLR)轉移矩陣變體，大幅降低計算量，同時保持與delta規則一致性。[1]
• •層級混合KDA與Multi-Head Latent Attention (MLA)，在相同訓練配方下超越全MLA，支援1M上下文長度。[1]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線