📄近期收集於 23h

遞迴如何改寫 Transformer 的全域工作空間

遞迴如何改寫 Transformer 的全域工作空間
PostLinkedIn
📄閱讀原文: ArXiv AI
#activation-steering#global-workspacelooped-transformersouro-2.6bhuginn-0125qwen3.6-27bjacobian-lens

💡遞迴可能保留工作空間,卻徹底改變模型的檢查與操控方式。

⚡ 30-Second TL;DR

有什麼變化

Ouro-2.6B 會在每次迴圈中重新建構工作空間內容,使線性傳輸無法跨越迴圈邊界。

為什麼重要

研究結果顯示,為非共享權重 Transformer 設計的可解釋性與啟動操控技術,可能無法直接適用於遞迴架構。建構潛在推理或權重共享模型的實務人員,應將遞迴邊界與局部因果視窗視為核心設計限制。

下一步行動

分析遞迴模型時,請實作 virtual unrolling,並分別測試單次迭代及涵蓋兩次以上遞迴的滑動視窗中的啟動讀取、寫入與消融。

誰應關注:Researchers & Academics

關鍵要點

  • Ouro-2.6B 會在每次迴圈中重新建構工作空間內容,使線性傳輸無法跨越迴圈邊界。
  • 對 Ouro 而言,若要產生影響,寫入與消融必須涵蓋所有剩餘迴圈。
  • Huginn-0125 能將內容維持於 16 次遞迴中,但讀取、寫入與消融僅在約兩次迭代的滑動視窗內運作。
  • 新注入內容能否被語言化,取決於每次迭代的明確監督;操控既有內容則不受此因素影響。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: ArXiv AI

這是摘要,不是原文。去看原站,或訂閱每週簡報。

每週 AI 簡報

每週一封,可隨時退訂。