Mamba-3 以 4% 優勢超越 Transformer，延遲降低
研究人員以 Apache 2.0 授權釋出開源 Mamba-3，在語言建模困惑度上超越 Transformer 架構近 4%，並降低推論延遲。它採用推論優先設計，解決解碼時的「冷 GPU」問題。作為狀態空間模型，它維持緊湊內部狀態，高效處理長序列。
Search
Tag: #state-space-models5 results
Ignition Index 描繪 LLM 的全域工作空間動態
研究人員提出 Ignition Index，用於衡量 Transformer 語言模型中類似全域工作空間的突發轉換。對 11 個模型的分析顯示，前饋式 Transformer 的點火程度高於 SSM，而循環式 Huginn 模型在迭代軸上的轉換強度高於深度軸。
🔬
探索將 Mamba 整合至 Fast Byte Latent Transformers 的可能性
這篇 Reddit 討論探討了將 Fast Byte Latent Transformers 中的 Transformer 架構替換為 Mamba 狀態空間模型的可行性。發文者尋求關於這種混合架構在效能提升與架構調整方面的專業見解。
AdaMamba：革新長期時間序列預測
AdaMamba 是一種新型框架，將適應性、情境感知的頻率分析嵌入 Mamba 的狀態空間更新中，用於優異的長期時間序列預測 (LTSF)。它具備互動式補丁編碼模組來捕捉變數間動態，以及適應性頻率門控模組與統一時頻遺忘門。該模型在七個基準測試中超越最先進方法，同時維持效率，程式碼已在 GitHub 上公開。
Mamba 3：推理優化的狀態空間模型
Mamba 3 是一款專為優化推理性能而設計的新狀態空間模型。由 Reddit r/LocalLLaMA 社群用戶 incarnadine72 分享。提供連結至詳細資訊與討論。