
16x DGX Spark 叢集建置完成
一名使用者完成16x DGX Spark叢集,在200Gbps織構交換器上達到線速。設定包括機架安裝、腳本化SSH/巨型封包/IPs,過程比預期順利。計劃測試如GLM-5.1-NVFP4等434GB模型,並未來與M5 Ultra進行prefill/decode分割。
Tag: #unified-memory12 results

一名使用者完成16x DGX Spark叢集,在200Gbps織構交換器上達到線速。設定包括機架安裝、腳本化SSH/巨型封包/IPs,過程比預期順利。計劃測試如GLM-5.1-NVFP4等434GB模型,並未來與M5 Ultra進行prefill/decode分割。

Ollama 現支援 MLX,在 Apple Silicon Mac 上執行本地 AI 模型更快。此更新優化統一記憶體使用,大幅加速推理效能。

NVIDIA 的 DGX Spark 現已支援最多 4 台設備叢集組網,打造緊湊型「桌面資料中心」。單台具備 1 百萬億次每秒 AI 算力與 128GB LPDDR5X 統一記憶體,四台並聯即達 4 百萬億次算力與 512GB 記憶體。

Perplexity表示其Personal Computer首先登陸Mac平台,因為Mac尤其是Mac mini是本地部署代理型AI平台的最佳選擇。蘋果CFO Kevan Parekh於最新季度財報電話會提到,越來越多的AI平台以Mac為運行基礎,並點名Perplexity利用Apple Silicon及其統一記憶體架構建構相關能力。

蘋果移除 M3 Ultra Mac Studio 的 256GB RAM 配置;512GB 早前已除。現在最高 96GB RAM,因供應限制。影響本地大型模型執行。

搭載 M3 Ultra 晶片的 Mac Studio 在二手市場價格失控,512GB 統一記憶體版本標價高達 25,000 美元(約 17 萬元人民幣)。相較之下,256GB 版本配 16TB SSD 在蘋果官網售價約 12,000 美元。需求導致二手市場價格完全失控。

一位使用者拆箱 NVIDIA DGX Spark,用於教育應用程式的本地 LLM 推論,搭配 vLLM、PyTorch 和 Hugging Face 模型。他們尋求最佳模型、統一記憶體 vLLM 調校建議,以及實際吞吐量表現。這是從雲端 GPU 轉向本地設定的首次嘗試。

本文提供中國存算一體努力的深度觀察。檢視堅定推進此架構的公司,面對競爭壓力。重點突顯此領域的關鍵參與者和策略。

一名 Reddit 網友聲稱,前雇主在關閉辦事處後,計畫銷毀超過 100 台 Apple M4 MacBook Pro。據稱這批設備均配備 48GB 統一記憶體,其實可以透過安全抹除後重新分配使用。