CPD：長上下文 LLM 服務加速 40%

#llm-inference#long-context#cache-optimizationtogether-ai-cpdtogether-aicpd

💡CPD 實現長上下文 LLM 服務加速 40%—生產推理擴展必備。（38字）

⚡ 30-Second TL;DR

有什麼變化

推出 CPD 架構實現 LLM 推理分離

為什麼重要

CPD 實現長上下文 LLM 的可擴展生產服務，降低延遲與成本，適用真實應用。AI 開發者處理完整文件或對話等長輸入更高效。

下一步行動

使用您的長上下文 LLM 提示測試 Together AI 的 CPD 服務端點，體驗 40% 吞吐量提升。

誰應關注：Developers & AI Engineers

背景與延伸：來自公開資料，非原文內容。引用 10 個來源。

•CPD 採用三層 KV-cache 階層，包括 GPU 記憶體、host DRAM 及透過 RDMA 連接的叢集式分散快取，提升冷請求後續溫熱請求的處理速度。[3]
•CPD 在 NVIDIA B200 GPU 上測試，使用合成程式碼代理工作負載，於混合溫冷負載下維持低於一秒的首 token 時間 (TTFT)。[1][3]
•CPD 在增加解碼容量 (1D 至 2D) 時，仍持續提供較高每 GPU QPS，並延緩系統飽和。[3]

•CPD 架構分為三種節點類型：pre-prefill 節點處理冷請求 (無可重用上下文)，標準 prefill 節點處理溫熱請求 (從快取拉取 KV 狀態)，解碼節點專注 token 生成。[1]
•三層 KV-cache 階層：GPU 記憶體為最快層，後接 host DRAM，及分散式快取；冷請求 KV 狀態寫入分散快取，後續請求以高頻寬批量擷取，轉換數秒計算為數百毫秒傳輸。[3]
•測試於 600 秒穩態，使用合成程式碼代理工作負載模擬真實 AI 輔助開發情境，包含大型共享程式碼庫與多輪互動。[1]