
SSOG-Attention 降低注意力機制複雜度
SSOG-Attention 以學習到的可分離高斯原子總和取代完整的 scaled dot-product attention,將複雜度從 O(N²·d) 降至 O(N·√N·d)。實驗結果顯示,它在 CIFAR-100 上表現更佳,在 ImageNet-1K 上達到相當效能並更快收斂,同時在擴展規模時提升速度與記憶體效率。
Tag: #scaling67 results

SSOG-Attention 以學習到的可分離高斯原子總和取代完整的 scaled dot-product attention,將複雜度從 O(N²·d) 降至 O(N·√N·d)。實驗結果顯示,它在 CIFAR-100 上表現更佳,在 ImageNet-1K 上達到相當效能並更快收斂,同時在擴展規模時提升速度與記憶體效率。

OpenAI 正在暫時解除 ChatGPT Work 與 Codex 對 Plus、Business 及 Pro 使用者的 5 小時使用限制。此外,他們正在優化 GPT 5.6 Sol 以提升效率。

Kimi 引入了一套多 Agent 編排系統,利用 300 個 Agent 來處理複雜任務。這次轉變標誌著 AI 從個體智能向組織級智能的躍遷。

WeRide 的表現似乎正在改善,但執行長 Han Xu 尚未說服市場相信公司的發展軌跡。文章指出,規模化將是公司下一個主要門檻。
Lazard 全球電力與基礎設施主管警告,AI 資料中心的能源需求仍是一項重大的未解難題。預計需求激增將對天然氣價格造成上漲壓力。
Meta Platforms Inc. 將投資 100 億美元在加拿大興建其首座資料中心。該設施旨在支援公司不斷擴張的 AI 基礎設施需求。

DeepSeek 放棄了「精簡 AI」策略,轉而採取積極的擴張計畫。該公司正啟動大規模招聘,旨在擴大營運規模,超越單純的演算法效率追求。
Amazon Bedrock 報告稱,僅 2026 年第一季的代幣處理量就超過了過去所有時期的總和。AWS 強調,在 AI 推論負載巨大的時代,構建「可靠的基礎設施」至關重要。

Meta 與資料中心開發商 Crusoe 達成合作,取得 1.6 GW 的運算容量。此協議涵蓋位於德州與密蘇里州的兩個站點,旨在支援 Meta 不斷擴張的 AI 基礎設施需求。

NVIDIA Dynamo Snapshot 解決了 Kubernetes 推論部署中的冷啟動問題,大幅縮短了啟動時間。此解決方案可避免擴展期間的 GPU 空轉,確保更好的資源利用率並符合 SLA 要求。