📄ArXiv AI•近期收集於 23h
遞迴如何改寫 Transformer 的全域工作空間

#activation-steering#global-workspacelooped-transformersouro-2.6bhuginn-0125qwen3.6-27bjacobian-lens
💡遞迴可能保留工作空間,卻徹底改變模型的檢查與操控方式。
⚡ 30-Second TL;DR
有什麼變化
Ouro-2.6B 會在每次迴圈中重新建構工作空間內容,使線性傳輸無法跨越迴圈邊界。
為什麼重要
研究結果顯示,為非共享權重 Transformer 設計的可解釋性與啟動操控技術,可能無法直接適用於遞迴架構。建構潛在推理或權重共享模型的實務人員,應將遞迴邊界與局部因果視窗視為核心設計限制。
下一步行動
分析遞迴模型時,請實作 virtual unrolling,並分別測試單次迭代及涵蓋兩次以上遞迴的滑動視窗中的啟動讀取、寫入與消融。
誰應關注:Researchers & Academics
關鍵要點
- •Ouro-2.6B 會在每次迴圈中重新建構工作空間內容,使線性傳輸無法跨越迴圈邊界。
- •對 Ouro 而言,若要產生影響,寫入與消融必須涵蓋所有剩餘迴圈。
- •Huginn-0125 能將內容維持於 16 次遞迴中,但讀取、寫入與消融僅在約兩次迭代的滑動視窗內運作。
- •新注入內容能否被語言化,取決於每次迭代的明確監督;操控既有內容則不受此因素影響。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: ArXiv AI ↗
每週 AI 簡報
每週一封,可隨時退訂。