Strix Halo NPU 在 Linux 下 LLM 效能對比 GPU/CPU

🔑 增強重點摘要

• •Strix Halo 的 XDNA 2 NPU 提供額外 50 TOPS AI 效能，主要用於低功耗任務如噪音消除與背景模糊[2][4]。
• •在 LM Studio 基準測試中，搭載 Ryzen AI Max+ 395 的 ASUS ROG Flow Z13 在 token 吞吐量上比 Intel Arc 140V 快達 2.2 倍，使用 16GB 模型[4]。
• •AMD 宣稱 Ryzen AI Max+ 在 LM Studio 使用 GPT-OSS 20B 與 120B 模型時，比 NVIDIA DGX Spark 在「每美元 token 每秒」指標上領先 1.5x 至 1.7x[5]。

🛠️ 技術深入

• •XDNA 2 NPU 來自 Xilinx 收購，提供 50+ TOPS AI 效能，搭配 16 Zen 5 CPU 核心與 40 RDNA 3.5 CU iGPU[2][4]。
• •GPU 峰值 BF16 效能估計 56 TFLOPS，在 MAMF 測試達 46 TFLOPS (82% 峰值)[2]。
• •基準使用 llama-bench 工具，涵蓋提示處理 (pp)、生成 (tg) 與記憶體使用，支援 Vulkan 與 HIP 後端[1]。
• •64GB 統一記憶體允許運行更大 LLM，相較競爭對手 32GB 上限可支援至 16GB 模型[4]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線