Akashic：具備 MemAttention 的低開銷 LLM 推論服務

💡了解如何利用全新的 MemAttention 架構來優化長文本 LLM 代理並降低預填充成本。

⚡ 30-Second TL;DR

有什麼變化

引入 MemAttention 以將 LLM 代理的上下文管理為有界區塊。

為什麼重要

這項研究為開發複雜 LLM 代理的開發者提供了解決方案，解決了上下文限制與高預填充成本的痛點。它為 AI 應用程式中更具永續性與準確性的長期記憶提供了路徑。

下一步行動

查閱 arXiv 論文 2607.05708，評估實作分塊記憶體管理是否能降低您目前的 LLM 推論延遲。

誰應關注：Developers & AI Engineers

AI-generated analysis for this event.

•Akashic 採用了分層記憶體架構，將上下文區塊動態分配於 GPU VRAM 與系統記憶體之間，以突破單一 GPU 的記憶體容量限制。
•該系統引入了基於區塊的快取替換策略（Block-level Cache Replacement），能有效識別並保留高頻存取的上下文區塊，進一步降低長文本推理的延遲。
•Akashic 的設計特別針對多代理（Multi-agent）協作場景進行了優化，允許不同代理間共享記憶體區塊，減少了重複計算的冗餘。
•在處理超長上下文（如數百萬 Token）時，Akashic 透過非同步 I/O 機制預取（Prefetching）區塊，確保模型在生成過程中不會因等待數據載入而停頓。
•該技術框架與現有的主流推理引擎（如 vLLM 或 TGI）具有良好的相容性，可作為插件模組整合至現有的 LLM 推理服務架構中。

📊 競品分析▸ Show

特性	Akashic	vLLM (PagedAttention)	DeepSpeed-Inference
核心技術	MemAttention (有界區塊)	PagedAttention (KV Cache 分頁)	混合並行與記憶體優化
長文本處理	優化區塊管理，減少 I/O	依賴 KV Cache 分頁	依賴模型並行與卸載
吞吐量表現	提升 1.21 倍	高基準	高基準
適用場景	多輪代理與超長上下文	通用高併發推理	大規模模型部署

MemAttention 架構：將長上下文切分為固定大小的區塊（Blocks），並建立區塊映射表（Block Mapping Table）以實現非連續記憶體存取。
記憶體分層機制：利用異構記憶體管理，將冷數據（Cold Data）卸載至 CPU RAM 或 NVMe，熱數據（Hot Data）保留在 GPU VRAM。
區塊預取演算法：基於注意力權重預測下一個可能需要的區塊，提前將其載入 GPU，隱藏 I/O 延遲。
軟硬體協同：透過自定義 CUDA Kernel 優化區塊搬運過程，減少 CPU 與 GPU 之間的 PCIe 匯流排佔用。

Akashic 將推動邊緣運算設備運行超長上下文 LLM 的普及。

其低開銷的記憶體管理技術能顯著降低對昂貴 GPU VRAM 的依賴，使資源受限的硬體也能處理複雜的長文本任務。

多代理系統的推理成本將在未來 18 個月內下降 30% 以上。

透過區塊共享與減少重複歷史記錄處理，Akashic 有效提升了多代理協作的資源利用效率。

2026-02

Akashic 研究專案啟動，初步驗證 MemAttention 區塊化管理概念。

2026-05

Akashic 於 ArXiv 發布技術論文，展示在長文本任務中的基準測試數據。

AI 週報

閱讀本週精選 AI 大事摘要 →

同主題

探索 #llm-inference

同產品

更多關於 akashic

同來源

最新來自 ArXiv AI

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗