
Clip to Grok 更新:權重範數裁剪 39–249 倍加速 | 6 任務
更新將權重範數裁剪擴展至六個代數任務,使用優化器步驟後的每行 ℓ₂ 裁剪,對基準實現 39–249 倍加速。最適 max_norm 依任務複雜度而異,非交換 S5 置換需最緊縮。程式碼與 PDF 在 GitHub;lucidrains 的 fast-weight-attention 有實作。
直接匹配不多,已補上最新動態。
Tag: #weight-clipping2 results

更新將權重範數裁剪擴展至六個代數任務,使用優化器步驟後的每行 ℓ₂ 裁剪,對基準實現 39–249 倍加速。最適 max_norm 依任務複雜度而異,非交換 S5 置換需最緊縮。程式碼與 PDF 在 GitHub;lucidrains 的 fast-weight-attention 有實作。

獨立研究者開發權重範數裁剪,在優化器步驟後對解碼器權重施加逐行 L2 裁剪,在模運算 grokking 基準上實現 2 層模型 66 倍加速、8 層模型 18 倍加速,對比基線無一失敗達 300 種子。程式碼與 PDF 在 GitHub 上;大型 LLM 測試進行中。

Kling AI 是快手疲弱第二季業績中唯一的亮點,營收超過人民幣 8.5 億元,年增逾 200%,全球用戶數突破 1 億。產品推出原生 4K 影片輸出,並從消費者訂閱模式拓展至影視與廣告等專業工作流程,但高昂算力成本及 Seedance 的競爭仍是重大挑戰。

受元件成本高漲影響,桌上型 CPU 出貨量下滑 20%,市場環境日益艱困。Intel 提高資料中心與筆記型電腦處理器產量,但 AMD 成長速度超越 Intel,並創下歷史最高市占率。

Eon 使用漏積分放電(LIF)模型,將果蠅大腦重建為數位系統。中國團隊據稱進一步採用精細神經元建模,以及支援跨身體遷移的平台,推進具身智慧研究。

據報導,UBTECH 已在 WRC 內以 1:1 比例重建客戶產線。此舉為具身智慧提供更實際的驗證與部署路徑,強調產線效能與系統整合,而非機器人出貨量。

Outer Biosciences 脫離隱身模式,開發出一套能讓手術切除的人類皮膚存活最長一個月的方法。該新創將組織產生的資料輸入 AI 模型,以預測可能有用的化合物,目前已籌得約 2,300 萬美元。

中國汽車製造商表示,受 AI 資料中心需求推動,印刷電路板與多層陶瓷電容器在全球短缺 20% 至 30%,價格已超過去年的三倍。汽車記憶體價格也在短短三個月內上漲約 180%。

Truffle Security 發現 768 組外洩的 AWS 金鑰,可對企業帳戶提供廣泛控制權,其中包括 526 組根金鑰。在受測憑證中,仍有 88% 處於啟用狀態;而 AWS 的隔離政策仍允許許多具破壞性的操作。

GDS Holdings 顯示,AI 相關資料中心訂單的增長速度快於已確認收入。這項趨勢反映需求強勁,但基礎設施擴建週期也使獲利延後。