LLM 跨資料中心 KV 快取

有什麼變化

跨資料中心預填充/解碼分離

為什麼重要

為超大規模者解鎖更廉價推理，支援異質硬體和跨 DC。潛在降低下一代模型部署成本。

下一步行動

檢閱 arXiv 2604.15039 以獲跨 DC KV 快取實作想法。