為何 Muon 只用於 Transformers？

#optimizer#transformers#convnetsmuonmuon

💡解碼 LLM 優化器 Muon 為何略過 ConvNets 儘管速度紀錄（24字）

⚡ 30-Second TL;DR

有什麼變化

Muon 在 LLM 訓練流程中迅速被採用

為什麼重要

突顯有前景優化器的潛在限制，引導研究者探索更廣應用或替代方案。

下一步行動

在 Arxiv 搜尋「Muon ConvNet」論文，調查擴展性主張。

誰應關注：Researchers & Academics

本篇為 AI 生成分析，非原文內容。

•Muon 的核心機制是基於動量（Momentum）的二階優化器，它通過對權重矩陣進行奇異值分解（SVD）或正交化處理，強制執行權重矩陣的正交約束，這在 Transformer 的線性層中表現極佳。
•Muon 在 ConvNets 中應用受限是因為卷積層的權重矩陣結構與全連接層不同，直接應用 Muon 的正交化約束會破壞卷積核的空間特徵提取能力，導致訓練不穩定或收斂困難。
•Muon 的計算開銷主要來自於矩陣的正交化過程，對於參數規模較小的 ConvNets，其帶來的額外計算成本往往超過了優化效率提升帶來的收益，因此在小模型上缺乏性價比。

📊 競品分析▸ Show

優化器	核心機制	適用架構	記憶體開銷
Muon	基於動量的正交化	Transformers (線性層)	高 (需矩陣分解)
AdamW	自適應學習率	通用 (CNN/Transformer)	中
Lion	符號動量	通用	低

Muon (Momentum-based Orthogonalization) 通過對梯度進行動量更新，隨後對更新後的矩陣執行正交化操作（通常使用牛頓迭代法計算矩陣平方根的逆）。
該算法旨在解決深度神經網絡中權重矩陣的奇異值分佈問題，使權重矩陣在訓練過程中保持接近正交的狀態，從而緩解梯度消失或爆炸。
在 Transformer 中，Muon 主要應用於 Query、Key、Value 和 Output 投影矩陣，這些矩陣通常是高維的，適合進行正交化處理以提升訓練穩定性。