Search

Tag: #llm-serving10 results

TensorCast 大幅降低 LLM 啟動延遲

北京大學、StepFun 與北京郵電大學推出 TensorCast，這是一套用於大型模型基礎設施的可程式化張量生命週期管理抽象層。在高併發、多輪代理工作負載中，據稱可將中位數首個 Token 時間最多降低 93.2%，並將模型實例啟動速度提升最多 228.6 倍。

PandailyMedia•5d ago#tensor-management#llm-serving#time-to-first-token

Netflix 揭露 Triton-vLLM 內部 LLM 平台

Netflix 詳細介紹其以 NVIDIA Triton 與 vLLM 為核心建構的內部大型語言模型服務平台。該平台為大型企業如何在內部架構與運行 LLM 服務提供了實務案例。

InfoQ中国Media•4d ago#llm-serving#model-inference#platform-engineering

SGLang 在 GB300 上將 DeepSeek-V4 的吞吐量提升 5 倍

SGLang 在 NVIDIA GB300 硬體上成功將 DeepSeek-V4 的服務吞吐量提升了 5 倍。此項優化在保持互動性的同時，顯著提升了推論效率。

PyTorch BlogMedia•Jun 23#inference#llm-serving#gpu-optimization

解鎖 Continuous Batching 中的非同步處理能力

Hugging Face 引入了用於 Continuous Batching 的非同步處理機制，旨在提升推論吞吐量。此方法將請求處理與批次執行解耦，有效降低高負載環境下的延遲。

Hugging Face BlogOfficial•May 14#inference#llm-serving#latency-optimization

vLLM V0 到 V1：在 RL 中正確性優先於修正

Hugging Face 部落格探討 vLLM 從 V0 到 V1 的演進，在強化學習工作流程中優先考慮正確性而非修正。文章強調建構可靠 LLM 伺服系統的關鍵原則。提供平衡準確性和效率在 RL 應用中的洞見。

Hugging Face BlogOfficial•May 6#rl#llm-serving#open-source

LLM 服務中 CPU 與 GPU 分離的論點

PyTorch 團隊在大規模生產 LLM 服務中遭遇 Python GIL 瓶頸。他們開發 Shepherd Model Gateway，並主張將 CPU 與 GPU 分離以克服這些限制。此方法可提升高吞吐量推論的資源利用率。

PyTorch BlogMedia•Apr 30#llm-serving#python-gil

Docker Model Runner 將 vLLM 引入 macOS Apple Silicon

Docker Model Runner 現支援透過新 vllm-metal 後端在 macOS Apple Silicon 上運行 vLLM 推理。此前已支援 Linux NVIDIA GPU 及 Windows WSL2。此更新讓 Mac 開發者能進行高效 LLM 服務。

Docker BlogOfficial•Feb 26#llm-serving#macos#metal-backend