Search

直接匹配不多,已補上最新動態。

Tag: #weight-clipping2 results

權重範數裁剪加速 Grokking 18-66 倍

權重範數裁剪加速 Grokking 18-66 倍

獨立研究者開發權重範數裁剪,在優化器步驟後對解碼器權重施加逐行 L2 裁剪,在模運算 grokking 基準上實現 2 層模型 66 倍加速、8 層模型 18 倍加速,對比基線無一失敗達 300 種子。程式碼與 PDF 在 GitHub 上;大型 LLM 測試進行中。

Reddit r/MachineLearningCommunityMar 17#grokking#weight-clipping#transformers