
自適應 RAG 壓縮降低邊緣運算能耗
這項研究提出由遙測資料驅動的執行期策略,動態調整邊緣 RAG 的檢索上下文壓縮程度。在 NVIDIA Jetson AGX Thor 上的實驗顯示,中度壓縮最多可降低 53.2% GPU 能耗及 48.2% SoC 能耗,同時幾乎不影響品質。
Tag: #energy-efficiency51 results

這項研究提出由遙測資料驅動的執行期策略,動態調整邊緣 RAG 的檢索上下文壓縮程度。在 NVIDIA Jetson AGX Thor 上的實驗顯示,中度壓縮最多可降低 53.2% GPU 能耗及 48.2% SoC 能耗,同時幾乎不影響品質。

半導體專家 Tsu-Jae King Liu 討論 Nvidia、晶片創新,以及 AI 系統日益增加的能源需求。她的觀點將半導體設計進展與日常裝置及未來 AI 基礎設施連結起來。

Seasonic 推出 Prime Enterprise RX-1600,號稱全球首款通過 80 Plus Ruby 認證的 115V ATX 電源供應器。這款 1600W 電源最高效率達 95.4%,在 20% 至 50% 負載下效率最高可達 95%。

AMD 宣稱其下一代機架級 AI 解決方案的能源效率將是 2024 年平台的四倍,並表示目前進度超前於 2030 年提升 20 倍的目標。文章指出,AMD 尚未提供實際基準測試結果,且相關說法同時提及 2025 與 2026 年系統。

DeepSeek 引入了與電力成本掛鉤的動態定價機制,凸顯了 AI 算力需求與電網負載管理之間日益增長的協同效應。這種「算電協同」正成為 AI 基礎設施永續發展的關鍵因素。

Unconventional AI 發布了名為 Un-0 的圖像生成模型,該模型基於一種新型振盪器架構。創辦人聲稱此架構能將功耗降低至傳統系統的千分之一。

Oriole Networks 開發了一項技術,將資料中心內的電子交換器替換為奈秒級的光學交換器。此創新旨在解決目前限制 AI 處理速度的散熱與功耗瓶頸。

NVIDIA 下一代 AI 系統 Vera Rubin 將於今年晚些推出,每瓦效能較 Grace Blackwell 提升 10 倍。系統包含 72 顆 Rubin GPU 及 36 顆 Vera CPU,由台積電生產,並採用 100% 液冷設計,零件來自全球 80 多家供應商。未來 Kyber 機架將 GPU 數量增至 288 顆,同時優化重量與佈線。

Sam Altman預測超級智能將於2028年超越人類智能。產業關鍵詞從AGI轉向超級智能。此模型可在3個月內掌握全球藥物研發知識,能耗僅相當於藥物科學家20年能耗的1/50。

NVIDIA、Google 與 Microsoft 透過 OCP 推出 800V 高壓直流供電架構。據報已有超過 80 家設備供應商採用相關規範,以降低高密度 AI 基礎設施中的電力轉換損耗。