Search

直接匹配不多,已補上最新動態。

Tag: #regularization2 results

🔬

因果自注意力作為嵌入的概率模型

研究人員將因果自注意力以概率方式解釋,將 token 嵌入視為潛在變量,注意力圖誘導變量變換項及退化邊界。這產生穩定邊際解釋、支持 token 及 MAP 式平滑 log-barrier 訓練懲罰。實證上,它提升對輸入擾動的魯棒性,並使學習幾何更集中邊際,乾淨準確率損失小。

Reddit r/MachineLearningCommunityMar 24#attention-mechanism#regularization