以更快速度大規模部署 Kimi 與 GLM
Cloudflare 說明如何降低部署 Kimi 與 GLM 等前沿模型時的 GPU 記憶體需求。這套方法結合 KV 快取量化、模型權重壓縮與完整性檢查，以提升速度、降低成本並強化安全性。
Search
Tag: #model-serving5 results
Arbitrage：以優勢感知提升推理效率
Apple Machine Learning 介紹 Arbitrage，這是一種結合優勢感知推測與推測式解碼的高效率推理方法。它旨在降低長 Chain-of-Thought 推理的高推論成本，並減少因語意等價但文字不同的步驟所造成的不必要 Token 拒絕。
⚙️
AWS 看好龐大的 AI 推論商機
Amazon Web Services 雲端業務主管表示，客戶正從主要使用 AWS 訓練 AI 模型，轉向將 AI 整合進企業營運。這項轉變正推升 AI 推論需求，也就是執行已訓練模型以產生結果的流程。
Hugging Face 模型現已支援 Foundry Managed Compute
Hugging Face 已將其模型生態系統與 Foundry 的託管運算基礎設施整合。此舉讓使用者能直接在 Foundry 環境中部署並擴展模型。
⚙️
HexGrid Cloud 提供社群驅動的開源權重 LLM 基準測試
HexGrid Cloud 邀請 AI 社群建議開源權重模型與硬體配置，以進行嚴格的效能基準測試。他們旨在為各種 GPU 設定提供透明的指標，如吞吐量、首字延遲 (TTFT) 及每百萬 token 成本。