🕷️
SetupAI
EN
☁️較早收集於 5m

AWS 推出由 llm-d 驅動的分散式推論

AWS 推出由 llm-d 驅動的分散式推論
PostLinkedIn
☁️閱讀原文： AWS Machine Learning Blog
#expert-parallelism#request-schedulingamazon-sagemaker-hyperpodawsllm-dsagemakerhyperpodeks

💡在 AWS SageMaker 上以分散式技術高效擴展 LLM 推論 2 倍以上！(28 字元)

⚡ 30-Second TL;DR

有什麼變化

推出分散式服務以實現可擴展 LLM 推論

為什麼重要

讓 AI 團隊能在 AWS 基礎設施上以更高吞吐量及更低成本處理更大模型。減少生產推論部署的瓶頸。將 SageMaker 定位為高效 LLM 服務領導者。

下一步行動

設定 SageMaker HyperPod EKS 叢集並部署 llm-d 測試分散式推論。

誰應關注：Developers & AI Engineers

關鍵要點

  • •推出分散式服務以實現可擴展 LLM 推論
  • •具備智能請求調度及專家並行功能
  • •可在 SageMaker HyperPod EKS 上實施以提升效能
  • •改善資源利用率及營運效率

🧠 深度解析

背景與延伸：來自公開資料，非原文內容。引用 9 個來源。

🔑 增強重點摘要

  • •llm-d 由 Red Hat、Google、CoreWeave 和 IBM 聯合宣布，是一個建立在 vLLM 和 kgateway 基礎上的 Kubernetes 原生分散式推論框架[3]，超越了單純的 AWS 實施範圍
  • •llm-d 的核心創新包括 KV 快取感知路由、分離式前綴/解碼處理及推論閘道 (IGW)，可針對長執行多步驟提示、檢索增強生成和代理工作流進行最佳化[2]
  • •llm-d v0.5.1 於 2026 年 3 月 5 日發布[4]，包含推論排程器 v0.6.0、模型服務 v0.4.7，以及工作負載變體自動擴展器從實驗性升級為核心元件[4]
  • •llm-d 透過分離式處理和智能快取管理，可同時降低推論成本並提升推論效能[5]，特別適用於組織自託管 LLM 基礎設施以滿足資料隱私和合規要求的場景[3]

🛠️ 技術深入

Architecture

  • •Kubernetes API 閘道作為頂層，負責負載平衡[1]
  • •多層架構處理最佳化、排程和請求路由[1]
  • •推論排程器使用即時效能資料（系統負載、記憶體使用、服務等級目標）進行智能決策，而非通用指標[2]

Core Capabilities

  • •分離式前綴/解碼：一組伺服器處理提示理解（前綴），另一組處理回應生成（解碼），透過 vLLM 和高速連線（NVIDIA Inference Xfer Library 或 InfiniBand）實現[2]
  • •KV 快取感知路由：利用 KV 快取使用率、工作佇列深度及快取位置知識進行最佳化[3]
  • •推論閘道 (kgateway)：評估傳入提示並智能路由請求，改善效能和成本效率[2]

Ecosystem Components

  • •推論排程器 (llm-d-inference-scheduler v0.6.0)：進行最佳化路由決策[4]
  • •模型服務 (llm-d-modelservice v0.4.7)：Helm 圖表，簡化 LLM 部署[4]
  • •工作負載變體自動擴展器 (v0.5.1)：基於飽和度的自動擴展[4]
  • •基準測試工具 (v0.3.0)：自動化 LLM 推論基準測試工作流[4]

🔮 前景展望AI analysis grounded in cited sources

自託管 LLM 基礎設施將成為企業主流選擇
組織因成本控制、資料隱私和合規要求而轉向自託管推論，llm-d 提供的 Kubernetes 原生解決方案將加速這一趨勢[3]
分散式推論架構將重新定義 2026 年 LLM 基礎設施市場
業界分析指出 AI 推論將在 2026 年定義市場格局，llm-d 等專門化工具的出現表明市場正朝向更精細化的推論優化方向發展[5]
代理系統和長上下文工作流將驅動推論技術創新
llm-d 特別針對長執行多步驟提示和代理工作流進行最佳化[2]，反映出業界對這類應用場景日益增長的需求

⏳ 時間線

2026-03
llm-d v0.5.1 發布，工作負載變體自動擴展器升級為核心元件
2026-02
業界分析指出 AI 推論將定義 2026 年市場，llm-d 項目受關注
2025-08
Red Hat 發布 llm-d 入門指南，詳細說明分散式 AI 推論架構
☁️閱讀原文： AWS Machine Learning Blog
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

同主題

探索 #expert-parallelism

同產品

更多關於 amazon-sagemaker-hyperpod

同來源

最新來自 AWS Machine Learning Blog

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： AWS Machine Learning Blog ↗

這是摘要，不是原文。去看原站，或訂閱每週簡報。

每週 AI 簡報

每週一封，可隨時退訂。