
LightMem 大幅降低大模型記憶成本
LightMem 是一款輕量級大模型記憶系統,在長對話與多任務代理中不犧牲準確率的前提下,大幅降低 token 使用、API 呼叫次數與延遲。它透過模仿人類分層記憶機制,解決對話冗餘、僵硬切分與昂貴線上更新的問題。論文入選 ICLR 2026,並提供開源程式碼。
Tag: #efficiency28 results

LightMem 是一款輕量級大模型記憶系統,在長對話與多任務代理中不犧牲準確率的前提下,大幅降低 token 使用、API 呼叫次數與延遲。它透過模仿人類分層記憶機制,解決對話冗餘、僵硬切分與昂貴線上更新的問題。論文入選 ICLR 2026,並提供開源程式碼。
開發者透過實作異質神經延遲(heterogeneous wire delays),成功提升了自製脈衝神經網路在 NARMA-10 基準測試中的記憶深度。此方法相較於標準連續神經網路,減少了 15 倍的算術運算量。

新 SATFormer 論文提出逐 token、逐 head 閘門,選擇性存取 Transformer 第一層 value。於損失與檢索基準優於基線,吞吐量近基線。提供 ArXiv 與 GitHub 連結。
Meta裁員約8,000人並取消6,000個空缺職位,工作人力減10%。此舉提升效率以抵銷AI模型及智慧眼鏡投資。此為持續縮編,可能達20%。

AI 驅動的資料中心正超越傳統 AC 電源限制。800VDC 成為電氣骨幹,提升效率與可擴展性。它大幅降低超大規模運營成本。

TurboQuant 推出極致壓縮技術,重塑 AI 模型效率。由 /u/Benlus 在 Reddit r/MachineLearning 發文分享。此工具有望大幅提升 AI 部署速度與資源利用。

桑坦德銀行執行主席 Ana Botin 預期 AI 將為銀行的多年目標貢獻超過 10 億歐元(12 億美元)。此舉支持西班牙貸款機構的更廣泛效率推動。
兩名來自政府效率部 (DOGE) 的前工作人員成立了一家私人企業。他們計畫將 AI 驅動的成本削減策略應用於私營部門。

BNY 執行長 Robin Vince 強調 AI 在改善產品和營運效率的作用。AI 也能為客戶降低成本。此討論在 Milken Institute Global Conference 舉行。

MiniMax在多模態模型中性價比頂尖,運營高效且迭代迅速。以to C娛樂產品、全球市場及輕資產API為主,避免聊天機器人競爭。競爭性定價有利於Agent規模化。