🗾ITmedia AI+ (日本)•最新收集於 81m
SoftBank 的 Cloud Proxy：實現每位員工 100 個 AI 代理的擴展
💡了解 SoftBank 如何架構客製化 AI 閘道，以管理企業內部大規模的 AI 代理部署。
⚡ 30-Second TL;DR
有什麼變化
專為企業安全與治理設計的內部 AI 閘道。
為什麼重要
此架構為大型企業如何安全地管理分散式 AI 代理生態系統提供了藍圖，展示了如何在維持模型選擇靈活性的同時實現集中化控制。
下一步行動
評估您目前的 AI 基礎設施，確認是否能透過集中式閘道模式來降低延遲並提升內部代理部署的安全性。
誰應關注：Enterprise & Security Teams
關鍵要點
- •專為企業安全與治理設計的內部 AI 閘道。
- •支援多模型（Multi-LLM）架構，避免供應商鎖定。
- •具備自動化擴展能力，以處理大規模的代理部署。
- •專注於大規模 AI 代理運作的效能優化。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •SoftBank 的 Cloud Proxy 整合了嚴格的資料遮罩（Data Masking）技術，確保員工在使用多種 LLM 時，敏感的企業內部數據不會被用於模型訓練。
- •該平台採用了基於微服務的架構，允許各部門根據特定業務需求，動態調用不同供應商的模型 API，實現了細粒度的成本控制與效能平衡。
- •Cloud Proxy 內建了即時監控儀表板，能追蹤每個 AI 代理的 Token 使用量與回應延遲，從而優化大規模部署下的運算資源分配。
- •SoftBank 透過此系統實施了統一的身份驗證（SSO）與存取控制，確保每位員工擁有的 100 個代理僅能在授權範圍內執行任務。
- •該系統支援自動化的模型路由（Model Routing）機制，能根據任務的複雜度自動選擇最經濟且高效的模型，降低企業整體 AI 運作成本。
📊 競品分析▸ Show
| 特色 | SoftBank Cloud Proxy | Microsoft Azure AI Gateway | AWS Bedrock (Guardrails) |
|---|---|---|---|
| 核心定位 | 企業內部多代理治理 | 雲端原生 AI 服務整合 | 託管式模型與安全防護 |
| 供應商鎖定 | 極低 (多模型架構) | 中 (偏向 Azure 生態) | 中 (偏向 AWS 生態) |
| 代理擴展性 | 高 (專為大規模代理設計) | 中高 (依賴 Azure 服務) | 中高 (依賴 Agentic Workflow) |
| 定價模式 | 企業內部授權/資源消耗 | 按量計費 (Pay-as-you-go) | 按量計費 (Pay-as-you-go) |
🛠️ 技術深入
- 採用 API 閘道模式作為所有 AI 請求的中繼站，實現集中式日誌記錄與審計。
- 支援動態模型切換，透過負載平衡演算法將請求分發至 OpenAI、Anthropic 或 Google 等不同供應商的 API。
- 實作了基於上下文的快取機制（Contextual Caching），針對重複性高的查詢減少 API 呼叫次數。
- 整合了向量資料庫介面，使代理能夠存取企業內部的知識庫（RAG 架構）。
- 具備自動化故障轉移（Failover）功能，當特定模型供應商服務中斷時，系統可自動切換至備援模型。
🔮 前景展望AI analysis grounded in cited sources
企業 AI 治理將從單一模型轉向多模型中介層架構。
隨著 AI 代理數量激增，企業需要透過中介層來規避單一供應商風險並優化成本。
AI 代理的運作成本將成為企業 IT 預算的主要組成部分。
大規模部署 AI 代理帶來的 Token 消耗與運算需求，迫使企業必須建立精細化的成本監控機制。
⏳ 時間線
2024-05
SoftBank 宣布加速推動生成式 AI 在企業內部的全面應用。
2025-02
SoftBank 啟動內部 AI 代理測試計畫，目標為每位員工配置專屬 AI 助手。
2025-11
Cloud Proxy 平台正式在 SoftBank 內部部署，開始處理大規模代理請求。
2026-04
SoftBank 擴大 Cloud Proxy 功能，強化多模型路由與自動化治理能力。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ITmedia AI+ (日本) ↗