🗾ITmedia AI+ (日本)•最新收集於 81m
軟銀 1.9 萬人規模的「全社 RAG 平台」建構策略
💡了解 SoftBank 如何在平衡安全性與營運效率的前提下，將 RAG 擴展至 1.9 萬名用戶。
⚡ 30-Second TL;DR
有什麼變化
實施集中式 RAG 治理，防止各部門系統碎片化。
為什麼重要
此案例研究展示了大型企業如何從實驗性 RAG 轉向生產級、可擴展的內部平台。它凸顯了治理在大規模採用 AI 時的關鍵作用。
下一步行動
審查您內部的 RAG 部署是否存在治理漏洞，並考慮將碎片化的工具整合為統一、安全的企業級平台。
誰應關注：Enterprise & Security Teams
關鍵要點
- •實施集中式 RAG 治理，防止各部門系統碎片化。
- •成功將 RAG 基礎設施擴展至支援 1.9 萬名內部員工。
- •實現顯著的營運效率提升，預估節省數萬小時工時。
- •平衡了「現場便利性」與「企業安全性」之間的矛盾需求。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •軟銀採用了混合雲架構，結合了內部部署的私有雲環境與公有雲服務，以確保敏感數據的合規性與處理效能。
- •該平台整合了多種大型語言模型（LLM），允許員工根據任務需求選擇最適合的模型，而非單一模型綁定。
- •軟銀導入了自動化的數據清洗與向量化管線，解決了企業內部非結構化數據格式不一的技術難題。
- •為了提升採用率，軟銀內部推動了『AI 冠軍計畫』，由各部門選拔種子用戶進行推廣與反饋收集。
- •該系統具備精細的權限管理機制（RBAC），確保員工僅能存取其職務權限範圍內的企業內部文件。
📊 競品分析▸ Show
| 比較項目 | 軟銀 (SoftBank) RAG 平台 | 典型企業級 RAG 解決方案 (如 Microsoft Copilot) | 傳統知識庫系統 |
|---|---|---|---|
| 部署架構 | 混合雲 (高度客製化) | 公有雲/SaaS (標準化) | 內部部署 (封閉) |
| 模型選擇 | 多模型彈性切換 | 綁定 Azure OpenAI | 無 (關鍵字搜尋) |
| 數據整合 | 企業內部異質數據源 | Microsoft 365 生態系 | 結構化資料庫 |
| 安全性 | 高度客製化權限控制 | 雲端原生安全架構 | 邊界防禦為主 |
🛠️ 技術深入
- 採用向量資料庫（Vector Database）技術，支援高併發下的語意搜尋與檢索增強生成。
- 實作了 RAG 評估框架，透過自動化測試評估檢索準確率（Retrieval Accuracy）與生成內容的幻覺率。
- 整合了 API 閘道器（API Gateway）以監控所有模型呼叫請求，並進行成本與效能分析。
- 支援多模態輸入處理，不僅限於文字，亦包含企業內部 PDF、簡報與試算表等格式的解析與索引。
🔮 前景展望AI analysis grounded in cited sources
軟銀將推動 RAG 平台與企業自動化工作流（Workflow Automation）的深度整合。
單純的問答系統已無法滿足需求，未來將轉向具備執行能力的 AI Agent 模式。
軟銀將向其企業客戶輸出此套 RAG 平台架構作為解決方案。
軟銀已驗證該系統在 1.9 萬人規模下的穩定性，具備高度的商業化複製潛力。
⏳ 時間線
2023-04
軟銀成立專責 AI 組織，開始規劃企業級生成式 AI 導入策略。
2023-09
啟動內部 RAG 平台原型開發，針對特定部門進行小規模測試。
2024-03
完成平台基礎架構升級，正式向全公司 1.9 萬名員工開放使用。
2025-06
導入多模型支援與自動化數據管線，顯著提升檢索準確度與系統回應速度。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ITmedia AI+ (日本) ↗