Search

Tag: #agent-infrastructure8 results

TensorCast 大幅降低 LLM 啟動延遲

北京大學、StepFun 與北京郵電大學推出 TensorCast，這是一套用於大型模型基礎設施的可程式化張量生命週期管理抽象層。在高併發、多輪代理工作負載中，據稱可將中位數首個 Token 時間最多降低 93.2%，並將模型實例啟動速度提升最多 228.6 倍。

文章以 GLM-5 為例，探討九章智算云如何支援持續強化學習工作負載。其透過統一調度生成、環境、訓練、模型狀態與推理，提升吞吐量、降低策略陳舊問題，並以更低成本持續擴展模型能力。

Cloudflare 推出 Cloudflare Computer，這是一個為 AI 智能體打造的持久化執行環境。該產品旨在讓智能體不再受限於單次執行工作階段，能持續運作。

一家新興的 Agent 晶片公司獲得 4.8 億美元資金，用於發展端側算力。其首款 AI 晶片據報已進入量產，象徵公司從融資階段邁向商業部署。

NVIDIA Nemotron 3.5 Lightning 是一款開放的 300 億參數混合專家模型，僅啟用 30 億參數，專為長時間運行 AI Agent 的執行層打造。它針對工具呼叫、結果驗證與子代理委派等高頻任務，降低每個步驟都使用前沿推理模型所帶來的成本與延遲。

Hermes Agent 現在可使用 Vercel AI Gateway 作為推理層，並在隔離的 Vercel Sandbox microVM 中執行代理指令。開發者可存取超過 200 個模型，無需支付 token 加價，並在 AI Gateway 儀表板追蹤請求、用量與支出。

位於 AI 代理與其使用模型之間的舊金山新創公司 Sapiom，完成由 Dragonfly 領投的 3,500 萬美元 A 輪融資。本輪讓公司累計募資達 5,000 萬美元，Anthropic 也參與支持。

OpenClaw病毒式開源AI專案，GitHub星數達10萬，讓Telegram、Slack、Discord等即時通訊App變AI代理介面。Telegram憑零摩擦Bot API領先；暴露實例安全風險備受關注。飛書跟進，WhatsApp落後。