Kimi 注意力殘差解決 LLM 深度問題

🔑 增強重點摘要

• •AttnRes 使用每個層的固定學習偽查詢向量（pseudo-query vector），而非輸入依賴查詢，並對前層輸出應用 RMSNorm 以防止幅度主導注意力權重。[1][3]
• •在 Kimi Linear MoE 架構中，AttnRes 帶來 GPQA-Diamond +7.5 分、Minerva Math +3.6 分及 HumanEval 顯著提升，尤其在多步推理任務。[1][3]
• •Block AttnRes 將層分為區塊並對區塊摘要進行跨區塊注意力，匹配需 1.25 倍計算的基準模型損失。[1][3]

🛠️ 技術深入

• •Full AttnRes：每個層使用固定偽查詢向量 w_l ∈ R^d，對所有前層輸出（經 RMSNorm）計算 softmax 注意力，初始權重設為零以確保訓練起始均勻。[1][3]
• •Block AttnRes：將層分區塊，區塊內輸出求和成單一表示，僅對區塊摘要應用注意力以降低記憶體需求。[1]
• •Kimi Linear 整合：48B 總參數、3B 激活參數 MoE，使用 3:1 KDA（Kimi Delta Attention）與 MLA（Multi-Head Latent Attention）混合，每四層一全注意力層，無 RoPE 於 MLA 以支援長上下文。[2][3][4]
• •KDA：基於 Gated DeltaNet 的線性注意力，引入通道級閘門（channel-wise gating），使用 Diagonal-Plus-Low-Rank (DPLR) 轉移矩陣變體提升硬體效率，KV 快取減 75%、解碼速度達 6 倍於 1M 上下文。[4][5]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線