Search

Tag: #unified-memory12 results

16x DGX Spark 叢集建置完成

16x DGX Spark 叢集建置完成

一名使用者完成16x DGX Spark叢集,在200Gbps織構交換器上達到線速。設定包括機架安裝、腳本化SSH/巨型封包/IPs,過程比預期順利。計劃測試如GLM-5.1-NVFP4等434GB模型,並未來與M5 Ultra進行prefill/decode分割。

Reddit r/LocalLLaMACommunityMay 1#cluster-build#unified-memory#hpc-fabric
DGX Spark 用於 vLLM 本地推論設定

DGX Spark 用於 vLLM 本地推論設定

一位使用者拆箱 NVIDIA DGX Spark,用於教育應用程式的本地 LLM 推論,搭配 vLLM、PyTorch 和 Hugging Face 模型。他們尋求最佳模型、統一記憶體 vLLM 調校建議,以及實際吞吐量表現。這是從雲端 GPU 轉向本地設定的首次嘗試。

Reddit r/LocalLLaMACommunityApr 15#unified-memory#local-inference#nvidia
Page 1 of 2