🤖Reddit r/MachineLearning•較早收集於 8h
注意力本質為 d² 問題而非 n²
💡突破證明：注意力為 d² 非 n²—革新 Transformer？
⚡ 30-Second TL;DR
有什麼變化
d² Pullback Theorem 結合前向/反向傳遞形成 d² 幾何
為什麼重要
若經驗證，可實現更高效 Transformer，大幅降低 LLM 計算成本。挑戰注意力機制十年 n² 假設。
下一步行動
從 Google Drive 下載 PDF 並驗證 d² Pullback Theorem 證明。
誰應關注：Researchers & Academics
關鍵要點
- •d² Pullback Theorem 結合前向/反向傳遞形成 d² 幾何
- •Softmax 將秩膨脹至 n，掩蓋真實 d² 結構
- •CSQ Attention 以穩定二次核替換 softmax
- •實現 O(nd³) 訓練/推論無不穩定性
- •韓國論壇 PDF 在 Reddit 分享
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/MachineLearning ↗
每週 AI 簡報
每週一封，可隨時退訂。