vLLM-Radiance 以四張 GPU 達到 17.6K Prefill

有什麼變化

報告中的 prefill 效能達到每秒 17,636 個 token，該次尖峰期間的生成速度為每秒 36.6 token。

為什麼重要

這份報告顯示，替代版 vLLM 實作可能讓原本在官方堆疊上表現不佳的硬體，獲得強大的多 GPU 吞吐量。若能重現，將提升 AMD 系統對高吞吐本地推論開發者的吸引力。

下一步行動

在你的多 GPU AMD 主機上，使用相同的 Qwen 模型、context、批次與 MTP 設定，對 vLLM-Radiance 和官方 vLLM 進行基準測試。