🦙Reddit r/LocalLLaMA•最新收集於 16h
Engram 讓小型模型變得更聰明
#n-gram-memory#local-llm#sparse-activation#model-architectureengramengramqwen 3.8 flash next
💡了解 N-gram 記憶如何提升小型本地模型，而非讓單一伺服器執行 1T 模型。
⚡ 30-Second TL;DR
有什麼變化
Engram 會根據最近 2–3 個詞元進行索引，以常數時間取得記憶向量。
為什麼重要
若經驗證，Engram 式記憶機制可能在不同比例擴大活躍網路的情況下，提升本地模型的能力與計算效率。對受硬體與記憶體限制的開發者而言，這提供了一種將記憶與推理分離的新設計方向。
下一步行動
建立一個雜湊 2-gram／3-gram 查詢層，並與基準本地模型比較其記憶體用量、延遲與困惑度影響。
誰應關注：Researchers & Academics
關鍵要點
- •Engram 會根據最近 2–3 個詞元進行索引，以常數時間取得記憶向量。
- •查詢不受上下文影響：更長的上下文可以接受或拒絕該向量，但無法改變被取出的內容。
- •高階 N-gram 獲得的訓練訊號較弱，因此將表格擴展至數千億參數可能造成容量浪費。
- •這種架構可將大型嵌入表存放在 RAM 或 SSD，同時讓每個詞元只啟用少量模型參數。
🧠 深度解析
背景與延伸：來自公開資料，非原文內容。引用 11 個來源。
🔑 增強重點摘要
- •DeepSeek 於 2026 年初發表的論文《Conditional Memory via Scalable Lookup》正式定義了 Engram 架構，將記憶查找視為 Transformer 架構中缺失的原始運算單元。
- •Engram 透過將靜態知識與推理邏輯解耦，使模型能將知識卸載至 DRAM，從而釋放 GPU 資源專注於複雜的推理任務。
- •研究顯示，採用 Engram 的模型在 RULER 與 LongPPL 等基準測試中，能以較少的預訓練 FLOPs 達到甚至超越同規模密集模型或 MoE 模型的表現。
- •2026 年 8 月發布的開源模型「Needle 2」展示了 Engram 的極致應用，僅需 14MB 的二進位檔案即可在樹莓派等低功耗裝置上運行 45M 參數的代理模型。
- •LogitLens 分析證實，Engram 模型能更早完成預測，其記憶查找機制在運算成本不變的情況下，發揮了類似於增加模型深度的效果。
📊 競品分析▸ Show
| 特性 | Engram (DeepSeek) | 傳統密集模型 (Dense) | 混合專家模型 (MoE) |
|---|---|---|---|
| 知識儲存 | 外部雜湊表 (DRAM/SSD) | 模型權重 (VRAM) | 模型權重 (VRAM) |
| 推理成本 | 極低 (查找為主) | 高 (全參數計算) | 中 (部分參數激活) |
| 記憶更新 | 可動態替換/更新 | 需重新訓練 | 需重新訓練 |
| 適用場景 | 邊緣運算/本地部署 | 通用推理 | 高效能伺服器 |
🛠️ 技術深入
- 記憶查找機制：利用雜湊 N-gram 嵌入表作為條件記憶層，實現常數時間複雜度的知識檢索。
- 運算卸載：將靜態資訊從 Transformer 的權重矩陣中分離，轉移至外部記憶體，降低 VRAM 佔用。
- 早期預測：透過 LogitLens 觀測發現，Engram 輔助層能顯著縮短模型在處理已知模式時的推理路徑。
- 資源配置：開發者可根據硬體限制，動態調整主幹模型（推理）與 Engram 表（知識）的比例，打破傳統縮放定律限制。
🔮 前景展望AI analysis grounded in cited sources
Engram 將成為邊緣 AI 裝置的標準配置。
其極低的 VRAM 需求與可插拔的記憶特性，完美契合手機與嵌入式裝置對效能與儲存空間的嚴苛要求。
模型微調將轉向「記憶表更新」而非「權重更新」。
由於 Engram 允許在不重新訓練主幹模型的情況下更新知識，未來企業將傾向於維護專屬的 Engram 表以實現即時知識庫更新。
⏳ 時間線
2026-01
DeepSeek 發表《Conditional Memory via Scalable Lookup》論文，提出 Engram 架構。
2026-05
ICLR 2026 工作坊探討記憶編排系統，Engram 概念擴展至對話代理記憶管理。
2026-08
開源模型「Needle 2」發布，驗證了 Engram 在極小化裝置上的高效能表現。
📎 來源 (11)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗
每週 AI 簡報
每週一封，可隨時退訂。