無位置編碼的注意力沉沒不可避免？

🔑 增強重點摘要

• •「注意力沉沒」（Attention Sinks）現象最初由 StreamingLLM 研究團隊提出，指出模型在處理長序列時，會將大量注意力集中在初始 Token（如 BOS）上，以維持模型穩定性。
• •移除位置編碼（PE）導致的垂直熱線現象，本質上反映了模型在缺乏空間參考時，傾向於將注意力分配給所有 Token 的平均值，這與模型訓練時的 Softmax 歸一化機制有關。
• •研究顯示，透過引入「查詢歸一化」（Query Normalization）或調整注意力分數的縮放因子，可以在不依賴傳統絕對位置編碼的情況下，緩解注意力過度集中於特定 Token 的問題。

🛠️ 技術深入

• •注意力機制公式：Attention(Q, K, V) = softmax((QK^T) / sqrt(d_k))V
• •無 PE 狀態下，QK^T 矩陣的數值分佈趨於平坦，導致 softmax 輸出接近均勻分佈，形成垂直線。
• •注意力沉沒現象通常發生在因果遮罩（Causal Masking）的自回歸模型中，因為模型需要一個穩定的「錨點」來處理長上下文。
• •交叉注意力中的垂直模式通常源於查詢（Query）與鍵（Key）在語義空間上的不對稱性，當缺乏位置引導時，模型無法區分不同位置的鍵。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線