可解釋性研究應用於模型訓練？

🔑 增強重點摘要

• •注意力探針（Attention Probes）已在生產環境中部署用於個人識別資訊（PII）檢測，Rakuten 的研究表明稀疏自編碼器（SAE）探針在分佈轉移情況下的魯棒性優於傳統激活探針[5]
• •Head Pursuit 方法通過信號處理重新詮釋探針技術，證明編輯僅 1% 的注意力頭即可可靠地抑制或增強目標概念的生成，適用於語言和視覺-語言任務[1][4]
• •門控注意力（Gated Attention）在大規模模型訓練中穩定訓練過程、減少損失尖峰，並改善長序列泛化性能，表明可解釋性技術與訓練穩定性的深度整合[7]

🛠️ 技術深入

• •探針架構：注意力探針採用多層感知器架構，包含層歸一化（LayerNorm）作為預歸一化和殘差連接，分類頭使用多邏輯預測與 softmax[5]
• •SOMP 方法：Head Pursuit 使用正交匹配追蹤（Orthogonal Matching Pursuit）在多個樣本上同時操作，通過限制非嵌入字典（僅包含目標屬性相關的標記）來識別專門化的注意力頭[4]
• •干預策略：通過反轉激活符號來抑制目標屬性，或將激活乘以係數 α=5 來增強目標概念，在問答、毒性緩解、圖像分類和圖像標題任務中驗證[4]
• •訓練配置：邏輯迴歸探針使用 5 折交叉驗證、平衡準確度評分、網格搜索正則化強度（C ∈ {0.01, 0.1, 1.0, 10.0, 100.0}）、liblinear 求解器和 L2 正則化[2]
• •上下文利用解碼：Sentinel 框架通過線性探針從原生注意力行為解碼查詢感知的上下文利用，最小化學習新行為的風險並實現單個注意力頭的直接可解釋性[2]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線