來源Reddit r/MachineLearning•較早收集於 26h
僅從權重預測 GPT-2 邊緣
#path-patching#virtual-weightscheap-anchor
💡125x faster edge importance prediction for GPT-2 circuits from weights alone – interpretability breakthrough.
⚡ 30 秒速覽
有什麼變化
與路徑修補 Spearman 相關 ρ=0.623
為什麼重要
實現變換器電路中邊緣調查或修剪的快速優先排序，節省因果審查計算資源。對擴展機械解釋性有前景。
下一步行動
Compute Cheap Anchor scores on your transformer model's induction heads using the described spectral and path metrics.
誰應關注：Researchers & Academics
關鍵要點
- •與路徑修補 Spearman 相關 ρ=0.623
- •125 倍加速，2 秒從權重計算
- •使用光譜集中與下游路徑權重
- •優於權重大小 (ρ=0.070) 與梯度
- •限於已知 GPT-2 歸納電路邊緣
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/MachineLearning ↗
每週電子報
每週一封，可隨時退訂。