Search

直接匹配不多,已補上最新動態。

Tag: #power-optimization4 results

V100 基準測試:功率限制與卸載優化

V100 基準測試:功率限制與卸載優化

在 Ryzen 7600X 上對 V100 32GB GPU 進行 20 個 LLM 模型(MoE 與密集型)的 6 小時基準測試,涵蓋 300W-150W 功率限制與 CPU 卸載層級,最高達 32K 上下文。功率限制至 200W 生成僅損失 <2%;MoE 模型遠優於密集型處理卸載。頂尖表現:Nemotron-30B Mamba2 達 152 t/s。

Reddit r/LocalLLaMACommunityMar 28#v100-benchmarks#cpu-offload#moe-models