Search

直接匹配不多，已補上最新動態。

Tag: #vllm3 results

Google 發布用於平行文字生成的 DiffusionGemma

Google 發布了 DiffusionGemma，這是一款將擴散技術應用於文字生成的開源模型。它能平行生成 256 個 token，相較於傳統自回歸模型，顯著提升了生成速度。

教學讓Qwen3.5-397B-A13B經vLLM在8x AMD R9700 GPU上運行，使用MXFP4量化。單請求達30 t/s，批次高達100 t/s。包含Dockerfile修補與啟動腳本以達高吞吐。

Reddit r/LocalLLaMACommunity•Apr 11#amd-gpu #vllm #quantization

律師建 10x Nvidia V100 SXM (320GB VRAM) Threadripper 伺服器，用於私人 RAG/QLORA 法律任務。分享 Linux 無頭 vLLM 初始基準，尋求寫作模擬及法律推理模型建議。Claude 用於協調安裝挑戰。

Reddit r/LocalLLaMACommunity•Apr 6#gpu-server #vllm #rag

GDS Holdings 顯示，AI 相關資料中心訂單的增長速度快於已確認收入。這項趨勢反映需求強勁，但基礎設施擴建週期也使獲利延後。

隨著 AI 工作負載提高對系統資源的需求，Microsoft 正重新最佳化 8GB 以上裝置的 Windows 記憶體使用。文章認為，舊版相容性、整合服務、WebView2 與分散的資源管理，正壓縮本地模型和 AI Agent 可用的記憶體空間。

量子位報導星海圖與產業夥伴共同討論具身智能從模型走向生產力的路徑。文章強調透過產業協作，推動具身智能真正落地到多個行業。

OpenAI 表示 Codex 活躍使用者已突破 2,000 萬，第三方追蹤數據則顯示其近期增速超越 Claude Code。Claude Code 目前規模仍較大且深受開發者採用，但隨著 Anthropic 接近早期市場飽和，其高速成長已經放緩。