⚙️
DGX Sparks 對 Mac Studio:397B 模型平手
使用者花費 96 小時在雙 DGX Sparks 和 Mac Studio M3 Ultra 上設定 Qwen3.5-397B 推理。生成速度平手 27-29 tok/s,但 Sparks 在預填充表現優異(730 tok/s 對 317),Mac 在嵌入則勝出(112 對 76.6 sentences/s)。Mac 設定僅需 4 小時,Sparks 則花 4 天。
Tag: #hardware-comparison5 results
使用者花費 96 小時在雙 DGX Sparks 和 Mac Studio M3 Ultra 上設定 Qwen3.5-397B 推理。生成速度平手 27-29 tok/s,但 Sparks 在預填充表現優異(730 tok/s 對 317),Mac 在嵌入則勝出(112 對 76.6 sentences/s)。Mac 設定僅需 4 小時,Sparks 則花 4 天。

前谷歌TPU工程師Henry比較TPU的脈動陣列流水線架構與GPU的SIMT於機器學習矩陣運算。TPU Pod利用3D Torus ICI實現大規模訓練,在已知工作負載下利用率及TCO優於GPU。挑戰含XLA黑盒軟體、HBM供應限制及ASIC僵硬性。
ASIC 在特定任務如 AI 推理展現極致效率,GPU 主導訓練與並行計算。市場預測 ASIC 推理份額至 2030 年達 80%。如 Google TPU 及比特幣礦機勝過 GPU。

Reddit 使用者猶豫購買二手 Blackwell RTX Pro 6000 96GB GPU(約 10K 美元)或全新 Mac Studio M3 Ultra 256GB(6.4K-8K 美元),用於 Gemma4s 和 Qwen3.6s 等大型 LLM。社群建議 Blackwell 以利 CUDA;使用者選擇 Central Computers 的全新 Max-Q,售價 8999 美元。

Apple 的 MacBook Neo 與 Mac Mini M4 皆從 599 美元起售,但針對不同使用者。評測者依據如可攜性對桌面效能等需求,認為選擇簡單。