Geometric Framework Identifies Memory Traces in Neural Networks

•該幾何框架不僅限於記憶識別，更延伸至AI代理記憶系統的基礎層面，包括從費雪資訊結構導出的檢索指標，以及使用黎曼朗之萬動力學（Riemannian Langevin dynamics）制定的記憶生命週期管理。
•「AI記憶痕跡」（AI engrams）的概念正透過神經啟發式架構（Engram Neural Networks, ENNs）進行探索，這些網路實施明確、稀疏且具可塑性的記憶痕跡，旨在提高可解釋性並減輕災難性遺忘。
•此方法解決了大型語言模型（LLMs）「終身知識編輯」中的關鍵挑戰，即現有方法在可靠性、泛化能力和局部性之間難以兼顧的「不可能三角」問題，這些問題常導致災難性遺忘或模型性能下降。
•該框架透過線性運算進行知識編輯，這與其他涉及針對性參數編輯或微調特定神經元的方法形成對比，可能提供一種更高效且資源需求更低的方法。
•幾何原理也被應用於理解高維嵌入空間中遺忘和錯誤記憶等更廣泛的現象，這表明這些現象是資訊如何透過意義組織起來的固有特徵。

該框架將神經科學的特異性和再激活等標準形式化為約束反問題，以從糾纏的神經網路參數中分離記憶痕跡。
在AI代理記憶系統中，資訊幾何學基礎透過費雪資訊結構（Fisher information structure）導出檢索指標，該指標滿足黎曼度量公理，在足夠統計量下不變，並能以O(d)時間計算。
記憶生命週期被公式化為黎曼朗之萬動力學，透過福克-普朗克方程（Fokker-Planck equation）證明了平穩分佈的存在性和唯一性，取代了手動調整的衰減機制。
引入了細胞層束模型（cellular sheaf model），其中非平凡的第一上同調類（first cohomology classes）精確對應於跨記憶上下文的不可調和矛盾。
記憶嵌入（μ ∈ ℝ^d）透過方差向量（σ^2 ∈ ℝ^d>0）進行增強，以捕捉每個維度的置信度，取代了傳統的餘弦相似度檢索。
流形記憶假說（Manifold Memorization Hypothesis, MMH）透過分析真實數據流形與模型學習流形的維度關係來理解生成模型中的記憶現象。
「遺忘的幾何學」研究表明，高維嵌入空間在噪音、干擾和時間退化下，能重現人類記憶的定量特徵，包括冪律遺忘和錯誤記憶，這表明這些現象是語義空間原始幾何的固有特性。

AI模型將能更精確地適應不斷變化的現實世界知識，減少對昂貴且耗時的全面重新訓練的需求。

透過幾何框架實現的記憶痕跡外科手術式編輯，允許模型知識的即時更新和修正，而無需反覆優化。

該框架將促進更可解釋和可控的AI系統的發展，特別是在需要精確知識管理和倫理對齊的領域。

透過明確分離和操作記憶痕跡，研究人員可以更好地理解模型如何儲存和利用知識，從而提高透明度和可審計性。

未來的AI代理將能夠實現更複雜和一致的長期記憶管理，包括矛盾檢測和記憶生命週期管理。

資訊幾何學基礎的引入，如SuperLocalMemory V3，為AI代理的記憶檢索、生命週期管理和一致性提供了數學基礎。

1949-01

唐納德·赫布（Donald Hebb）提出赫布定律，為神經網路中的記憶形成奠定基礎。

2021-01

研究探討深度神經網路中泛化與記憶的幾何學，分析記憶發生的結構。

2022-06

引入幾何框架，用於識別循環網路中穩定態響應所需的突觸連接。

2024-10

提出流形記憶假說（MMH），利用幾何框架理解生成模型中的記憶現象。

2026-01

DeepSeek發表「Engram」架構，將靜態知識儲存與動態推理分離，實現條件記憶。

2026-03

發表「SuperLocalMemory V3」，為AI代理記憶系統建立資訊幾何學基礎，包括檢索指標和記憶生命週期。

幾何框架識別神經網路中的記憶痕跡