Search

直接匹配不多，已補上最新動態。

Tag: #failover3 results

Vercel AI Gateway 推出防火牆風格的路由規則

Vercel AI Gateway 現已支援路由規則，讓團隊無需更改應用程式代碼即可管理模型流量、執行重寫並封鎖特定模型。此功能可在閘道層級實現即時模型切換與流量控制。

文章解析擁擠無伺服器 GPU 市場，比對 Vast.ai（市集）、RunPod（管理）、Yotta Labs（資源池路由）在高峰彈性的差異。重點在自動故障轉移 vs 手動重試，以及抽象層級的鎖定風險。無絕對贏家，依買家類型匹配。

Reddit r/MachineLearningCommunity•Mar 23#serverless-gpu #elasticity #failover

Sentinel 是一個開源的、快速的 Rust LLM 閘道器，提供單一 OpenAI 相容端點，可路由至多個提供者如 OpenAI 和 Anthropic。它包含指數退避重試、精確匹配快取、PII 刪減、SQLite 日誌、成本追蹤和小儀表板。此專案尋求社群回饋、錯誤報告和貢獻者。

Reddit r/MachineLearningCommunity•Feb 20#failover #pii-redaction #cost-tracking

GDS Holdings 顯示，AI 相關資料中心訂單的增長速度快於已確認收入。這項趨勢反映需求強勁，但基礎設施擴建週期也使獲利延後。

隨著 AI 工作負載提高對系統資源的需求，Microsoft 正重新最佳化 8GB 以上裝置的 Windows 記憶體使用。文章認為，舊版相容性、整合服務、WebView2 與分散的資源管理，正壓縮本地模型和 AI Agent 可用的記憶體空間。

量子位報導星海圖與產業夥伴共同討論具身智能從模型走向生產力的路徑。文章強調透過產業協作，推動具身智能真正落地到多個行業。

OpenAI 表示 Codex 活躍使用者已突破 2,000 萬，第三方追蹤數據則顯示其近期增速超越 Claude Code。Claude Code 目前規模仍較大且深受開發者採用，但隨著 Anthropic 接近早期市場飽和，其高速成長已經放緩。