RBF 注意機制修復點積幅度偏差

Post LinkedIn

🤖閱讀原文： Reddit r/MachineLearning

#self-attention #rbf-kernel #attention-sinksrbf-attentionpytorch triton flashattention rope

💡RBF 注意修復鍵欺凌 + 自訂 Triton 核心，無 OOM 訓練！(24字)

⚡ 30-Second TL;DR

有什麼變化

RBF 使用歐幾里德距離取代點積，防止幅度欺凌

為什麼重要

此方法可提升注意力機制對向量尺度不敏感，提升模型穩健性。可能啟發 Transformer 替代注意力設計，但需大量工程整合。對追求高效自注意力研究者具啟發性。

下一步行動

實作所述 Triton 核心，在你的 PyTorch transformer 中測試 RBF 注意機制。

誰應關注：Researchers & Academics

關鍵要點

•RBF 使用歐幾里德距離取代點積，防止幅度欺凌
•距離公式展開為 2(Q·K) - ||K||²，避免 N×N 矩陣 OOM
•自訂 Triton 核心即時計算鍵範數，模擬 FlashAttention 平鋪
•暫存器權杖作為原點注意力匯集，取代幅度放大 BOS
•RoPE 在距離空間失去意義，需要重新設計

🧠 深度解析

AI-generated analysis for this event.

🔑 增強重點摘要

•RBF 注意力機制透過將注意力分數定義為高斯核函數，將原本點積的線性空間轉換為徑向基函數空間，從而實現了對輸入特徵分佈的非線性平滑，有效緩解了長序列中極端值導致的注意力崩潰問題。
•該架構引入的暫存器權杖（Register Tokens）不僅解決了注意力匯集問題，還在訓練過程中充當了全局上下文的緩衝區，減少了模型在處理長上下文時對特定位置權杖的過度依賴。
•研究指出，傳統 RoPE（旋轉位置編碼）依賴於點積的旋轉不變性，而在 RBF 距離度量空間中，這種幾何特性不再成立，因此該研究提出了基於距離的相對位置編碼替代方案，以維持序列順序資訊。

🛠️ 技術深入

• 核心數學變換：將注意力分數計算從 Softmax(QKᵀ/√d) 轉變為 Softmax(-||Q-K||²/2σ²)。 • 記憶體優化：利用代數展開 ||Q-K||² = ||Q||² + ||K||² - 2(Q·K)，將計算複雜度從 O(N²) 空間需求降低至 O(N) 輔助空間，並透過 Triton 核心實現分塊計算（Tiling）。 • Triton 實作細節：自訂核心在 SRAM 中即時計算 ||K||²，避免了將完整 N×N 距離矩陣寫入 HBM，顯著提升了計算吞吐量。 • 暫存器權杖機制：在序列開頭插入一組可學習的權杖，作為所有查詢向量的參考原點，強制模型將注意力分配至這些權杖以獲取全局特徵。