🏠IT之家•最新收集於 12m
AMD 發表可本地執行兆參數模型的工作站
#local-inference#gpu-accelerators#hbm3e#rocmamd-threadripper-halo-stationamdthreadripper halo stationryzen threadripper proinstinct mi350p
💡這款 AMD 桌上型系統宣稱可在本地執行超過 1T 參數的模型。
⚡ 30-Second TL;DR
有什麼變化
該系統定位為可本地執行兆參數模型的個人超級電腦。
為什麼重要
Halo Station 可能降低需要測試超大型模型、但不希望將敏感工作負載送上雲端的組織之基礎設施門檻。其實際價值仍取決於軟體支援、模型量化、記憶體頻寬、價格，以及液冷下的持續效能。
下一步行動
使用 AMD ROCm 搭配 4-bit 量化，對你的目標開放權重模型進行基準測試，以評估 Halo Station 的 576GB HBM3E 配置是否適合你的工作負載。
誰應關注：Developers & AI Engineers
關鍵要點
- •該系統定位為可本地執行兆參數模型的個人超級電腦。
- •基本配置包括 96 核心 Ryzen Threadripper PRO CPU 與兩張 Instinct MI350P 加速卡。
- •工作站支援 2TB 系統記憶體。
- •未來四 GPU 配置可提供總計 576GB 的 HBM3E 記憶體。
- •所有主要運算元件均採用液冷散熱。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： IT之家 ↗
每週 AI 簡報
每週一封，可隨時退訂。