🕷️
SetupAI
EN
🦙較早收集於 3h

State Flow Machine：取代 Transformer，長度保留 79% 對 2%

PostLinkedIn
🦙閱讀原文： Reddit r/LocalLLaMA
#state-machine#long-context#non-transformerstate-flow-machine-(sfm)flashlmstfmdeltanet

💡新 SFM 架構長度保留壓倒 Transformer：79% 對 2%。Transformer 終結者？（32字）

⚡ 30-Second TL;DR

有什麼變化

以執行、結構、元系統取代 Transformer

為什麼重要

長脈絡推理有前景替代方案，可能實現超越 Transformer 限制的高效本地模型。初步成果挑戰注意力機制主宰地位。

下一步行動

實作 SFM 的 DeltaNet 槽位銀行原型，用於您的長序列推理基準。

誰應關注：Researchers & Academics

關鍵要點

  • •以執行、結構、元系統取代 Transformer
  • •DeltaNet 動態槽位銀行支援可逆狀態更新
  • •變數狀態追蹤測試達 79% 長度保留
  • •解決 Transformer 長序列外推失效

🧠 深度解析

背景與延伸：來自公開資料，非原文內容。引用 5 個來源。

🔑 增強重點摘要

  • •State Flow Machine (SFM) 進化自 FlashLM 的 SlotMemoryAttention，並進一步發展為 DeltaNet 動態槽位銀行，專注於可逆狀態更新以提升長序列處理[3]。
  • •在 Associative Recall (AR) 任務中，DeltaNet 表現接近 Mamba，但落後於 Transformers 和 Based SSM，顯示其在上下文回憶上的機制限制[3]。
  • •SFM 強調明確狀態轉換以處理程式碼和推理任務，解決 Transformer 在長序列外推上的失效問題，與 SSM 家族如 Mamba 的短捲積機制形成對比[3][1]。

🔮 前景展望AI analysis grounded in cited sources

SFM 將在長上下文推理任務中超越 Transformer 的 79% 長度保留率
DeltaNet 的動態槽位銀行提供可逆狀態更新，結合 SSM 的線性擴展性，有助解決 Transformer 的過度平滑問題。[1][3]
DeltaNet 需強化單層計算以匹敵 Transformer 的歸納機制
機制評估顯示 SSM 如 DeltaNet 僅在最後狀態計算關聯，而非全程歸納，限制其在階層檢索任務的表現。[3]

⏳ 時間線

2025-10
arXiv 發布 State Space Models 與 Transformer 上下文表示流比較分析
2025-09
OpenReview 提交 Transformers 與 SSM 機制評估論文，提及 DeltaNet
2026-02
論文修訂，確認 Mamba 和 DeltaNet 在 AR 任務的表現差異
2026-03
Reddit r/LocalLLaMA 討論 State Flow Machine 取代 Transformer
🦙閱讀原文： Reddit r/LocalLLaMA
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

同主題

探索 #state-machine

同產品

更多關於 state-flow-machine-(sfm)

同來源

最新來自 Reddit r/LocalLLaMA

Ox Alpha：神秘模型公開亮相

Ox Alpha：神秘模型公開亮相

虎嗅•Aug 22
🤖

SHADOW-250M：僅 60 MB 的長上下文 LLM

Reddit r/MachineLearning•Aug 22
🦙

為 16GB VRAM 調校 Qwen3.8

Reddit r/LocalLLaMA•Aug 22

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗

這是摘要，不是原文。去看原站，或訂閱每週簡報。

每週 AI 簡報

每週一封，可隨時退訂。