🦙Reddit r/LocalLLaMA•較早收集於 5h
Arc Pro B70 在 Qwen3.5-27B 達 135 tps
💡Intel GPU 近 Nvidia LLM 速度且半價？基準 + 安裝指南（22字元）
⚡ 30-Second TL;DR
有什麼變化
單查詢 12 tps，32 併發 135 tps
為什麼重要
驗證 Intel Arc 適用於大規模成本效益 LLM 推論，雖功耗效率落後 Nvidia；吸引避開 CUDA 鎖定的預算使用者。
下一步行動
使用貼文 Docker 指令於 Ubuntu 26.04 beta 在 Arc B70 部署 vllm。
誰應關注：Developers & AI Engineers
關鍵要點
- •單查詢 12 tps，32 併發 135 tps
- •高負載 TG 比 RTX PRO 4500 慢 20%
- •註明功耗高 50%
- •需 Ubuntu 26.04 與 vllm Intel beta fork
- •分享簡易 vllm Docker 指令
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Intel Arc Pro B70 採用 Battlemage 架構，其 Xe2 核心在處理 FP16 與 INT8 量化推理時，透過 XMX (Xe Matrix Extensions) 單元展現出比前代 Alchemist 架構顯著的吞吐量提升。
- •該測試環境依賴於 Intel 專屬的 oneAPI Base Toolkit 與 SYCL 異構計算框架，這意味著目前在非 Intel 軟體堆疊（如標準 CUDA 環境）下無法直接運行該 vLLM fork。
- •Arc Pro B70 的 32GB VRAM 配置使其在處理 27B 參數模型時，能比同級別 16GB 或 20GB 的專業卡容納更長的上下文窗口（Context Window），這是在高併發場景下維持 135 tps 的關鍵硬體優勢。
📊 競品分析▸ Show
| 特性/指標 | Intel Arc Pro B70 (32GB) | NVIDIA RTX PRO 4500 (24GB) | AMD Radeon Pro W7800 (32GB) |
|---|---|---|---|
| 架構 | Battlemage (Xe2) | Ada Lovelace | RDNA 3 |
| 記憶體頻寬 | 約 560 GB/s | 432 GB/s | 576 GB/s |
| Qwen3.5-27B (32併發) | 135 tps | ~168 tps (推估) | 數據不足 |
| 功耗 (TDP) | 較高 (基準測試顯示高出 50%) | 較低 (約 210W) | 中等 (約 260W) |
| 軟體生態 | oneAPI / SYCL | CUDA (業界標準) | ROCm |
🛠️ 技術深入
- •架構核心：基於 Xe2-HPG 微架構，針對矩陣運算優化的 XMX 單元數量較前代增加，顯著提升了 AI 推理的並行處理能力。
- •記憶體架構：搭載 32GB GDDR6 記憶體，支援 ECC 錯誤修正，適合長時間運行的伺服器負載。
- •軟體堆疊：依賴 Intel Extension for PyTorch (IPEX) 與針對 Battlemage 優化的 vLLM 分支，該分支利用了 SYCL 進行底層硬體調度。
- •功耗特性：在高併發負載下，由於缺乏針對特定 AI 工作負載的精細電壓頻率曲線優化，導致其能效比（Performance per Watt）目前落後於 NVIDIA 的專業級解決方案。
🔮 前景展望AI analysis grounded in cited sources
Intel 將在 2026 年底前發布針對 Battlemage 的穩定版 vLLM 驅動。
目前的 beta fork 顯示 Intel 正積極將 Battlemage 的 AI 推理能力整合進主流開源框架，以縮小與 NVIDIA 的生態差距。
Arc Pro B70 的市場定位將轉向高性價比的邊緣 AI 推理伺服器。
雖然能效比暫時落後，但其 32GB 大顯存與相對較低的硬體成本，使其在對功耗不敏感但對顯存需求極高的中小型企業市場具有競爭力。
⏳ 時間線
2024-12
Intel 正式發布基於 Battlemage 架構的 Arc B 系列 GPU。
2025-06
Intel 推出 Arc Pro B 系列專業工作站顯卡，強調 AI 加速能力。
2026-02
Intel 發布針對 Battlemage 架構的 oneAPI 軟體堆疊更新，提升 AI 推理效能。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗