📄ArXiv AI•較早收集於 9h
AMOR：熵基元認知閘門動態SSM-注意力切換
#research#amor#architecture#entropy-gateamor
💡Hybrid SSM-Transformer hits perfect accuracy with 78% less attention compute.
⚡ 30-Second TL;DR
有什麼變化
僅在高熵SSM位置動態路由至注意力
為什麼重要
AMOR實現自適應計算難度的混合架構，有望大幅降低長上下文LLM推理成本。它橋接SSM速度與Transformer精準度，推進可擴展AI模型。研究者可建構具元認知路由的可解釋系統。
下一步行動
Download arXiv:2602.13215 and replicate AMOR on synthetic retrieval benchmarks.
誰應關注：Researchers & Academics
關鍵要點
- •僅在高熵SSM位置動態路由至注意力
- •以22%注意力使用率達完美檢索準確率
- •從SSM投影Ghost KV實現O(n)計算效率
- •熵信號檢索需求，較本地位置差距1.09 nats
- •透過資訊理論提供可解釋的自適應計算
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗
每週 AI 簡報
每週一封，可隨時退訂。