權重範數裁剪加速 Grokking 18-66 倍

🔑 增強重點摘要

• •該技術源自模運算 grokking 現象研究，grokking 指模型在過擬合後突然泛化，權重範數裁剪透過穩定優化加速此過程。
• •方法僅需在優化器步驟後對解碼器權重逐行應用 L2 範數裁剪，公式為將每行範數限制於預設閾值，無需額外超參調整。
• •邊緣初始化（edge initialization）結合此裁剪可大幅降低較大模型的 IQR（四分位距），提升訓練穩定性達 61–72%。

🛠️ 技術深入

• •裁剪應用於解碼器權重，每行獨立計算 L2 範數，若超過閾值則縮放至閾值，類似局部梯度裁剪但針對權重更新後。
• •在模運算基準（modular arithmetic grokking benchmark）上測試，2 層模型（422k 參數）使用 AdamW + Lion + Clip 基線，對比加速 66 倍。
• •8 層模型（1.6M 參數）300 種子測試零失敗，顯示高度可靠；程式碼僅 5 行 PyTorch 實現，無額外記憶體開銷。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線