Search

Tag: #architecture10 results

AMOR:熵基元認知閘門動態SSM-注意力切換

AMOR:熵基元認知閘門動態SSM-注意力切換

AMOR是一種受雙過程認知理論啟發的混合模型,僅在SSM預測顯示高熵不確定性時動態啟用稀疏注意力。它從SSM狀態投影Ghost KV以實現O(n)效率,在檢索任務上超越純SSM和Transformer基準,以僅22%注意力位置達到完美準確率。預測熵可靠偵測檢索需求,差距達1.09 nats。

ArXiv AIResearchFeb 17#research#amor#architecture