🗾ITmedia AI+ (日本)•最新收集於 65m
四台 M5 Ultra Mac Studio 實現 4.8TB/s 記憶體頻寬
#local-inference#memory-bandwidth#mac-cluster#edge-computingm5-ultra-mac-studioexo-labsm5-ultramac-studiokimi-k3
💡四台 Mac 組成的叢集宣稱具備資料中心級頻寬，可本機執行超大型 LLM。
⚡ 30-Second TL;DR
有什麼變化
EXO Labs 展示了由四台 M5 Ultra Mac Studio 組成的叢集。
為什麼重要
緊湊型多 Mac 叢集可能讓研究人員與開發者在部分大型模型工作負載上，獲得雲端 GPU 基礎設施以外的選擇。實際價值仍取決於互連開銷、模型分割效率、軟體支援、耗電量與總成本。
下一步行動
在四節點 M5 Ultra 叢集上測試目標 Kimi K3 工作負載，並將每秒 token 數、耗電量與總成本與目前的雲端 GPU 配置比較。
誰應關注：Researchers & Academics
關鍵要點
- •EXO Labs 展示了由四台 M5 Ultra Mac Studio 組成的叢集。
- •該叢集據稱可達約 4.8TB/s 的總記憶體頻寬。
- •這套系統主打在本機執行 Kimi K3 等超大型模型。
🧠 深度解析
背景與延伸：來自公開資料，非原文內容。引用 6 個來源。
🔑 增強重點摘要
- •EXO Labs 透過與 Apple 合作開發的 Thunderbolt 5 低延遲遠端直接記憶體存取 (RDMA) 技術，實現了多台 Mac Studio 的叢集互連。
- •M5 Ultra 晶片採用四晶片架構，透過 UltraFusion 技術整合兩顆 M5 Max，單顆晶片即可提供 1.2 TB/s 的記憶體頻寬。
- •相較於前代 M3 Ultra，M5 Ultra 在 AI 運算效能上提升了 4.3 倍，主要歸功於每個 GPU 核心內建的新型神經加速器。
- •新款 Mac Studio 首次全面導入 Wi-Fi 7、藍牙 6 與 Thunderbolt 5 連接標準，為高頻寬叢集運算提供硬體基礎。
- •該系統支援高達 512GB 的統一記憶體，使單一叢集具備處理超大型語言模型（LLM）的本機運算能力。
📊 競品分析▸ Show
| 特色/產品 | M5 Ultra Mac Studio 叢集 | NVIDIA DGX Station | 高階工作站 (Threadripper + RTX 5090) |
|---|---|---|---|
| 記憶體頻寬 | 4.8 TB/s | 約 2.0-3.0 TB/s | 約 1.0-1.5 TB/s |
| 記憶體容量 | 最高 2TB (4台合計) | 最高 320GB | 最高 512GB |
| 價格定位 | 約 380 萬日圓 (4台) | 極高 (企業級) | 中高 |
| AI 部署 | 本機 LLM 推論/微調 | 企業級訓練/推論 | 通用運算/推論 |
🛠️ 技術深入
- 晶片架構：M5 Ultra 採用四晶片設計，透過 UltraFusion 互連技術實現高頻寬傳輸。
- 互連技術：利用 Thunderbolt 5 的高頻寬特性，結合 EXO Labs 的 RDMA 協議，降低叢集節點間的通訊延遲。
- 記憶體規格：單機支援 512GB 統一記憶體，叢集總容量可達 2TB。
- 核心配置：單顆 M5 Ultra 具備 36 核心 CPU 與 80 核心 GPU，並整合專用神經加速器。
🔮 前景展望AI analysis grounded in cited sources
本機 AI 運算將取代部分中小型企業的雲端 API 依賴。
4.8TB/s 的頻寬與 2TB 的總記憶體容量，足以讓企業在內部環境高效運行 Kimi K3 等級的大型模型。
Thunderbolt 5 將成為高效能邊緣運算叢集的標準介面。
其高頻寬與低延遲特性已證明能有效串聯多台 Mac Studio 進行分散式 AI 推論。
⏳ 時間線
2025-08
EXO Labs 與 Apple 啟動 Thunderbolt 5 叢集互連技術合作。
2026-08
Apple 正式發表搭載 M5 Ultra 的新款 Mac Studio。
2026-08
EXO Labs 展示四台 M5 Ultra Mac Studio 叢集並驗證 4.8TB/s 頻寬。
📎 來源 (6)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ITmedia AI+ (日本) ↗
每週 AI 簡報
每週一封，可隨時退訂。