Search

直接匹配不多，已補上最新動態。

Tag: #residual-connections3 results

Kimi 注意力殘差解決 LLM 深度問題

Kimi 團隊提出注意力殘差 (AttnRes)，以 softmax 注意力取代固定權重殘差加總，防止深度 LLM 隱藏狀態稀釋。Block AttnRes 分割層級以實現記憶體高效的大規模訓練。整合至 48B Kimi Linear 模型，在 1.4T 權杖預訓練下，產生均勻梯度並提升下游效能。

Reddit r/MachineLearningCommunity•Mar 17#residual-connections #scaling-laws

埃隆·馬斯克公開點讚Kimi的全新Attention Residuals（注意力殘差）機制。Kimi官方帳號以幽默口吻回應馬斯克。此創新對深度學習領域近十年的傳統殘差連接進行顛覆性重構。

Attention Residuals 使用 softmax 注意力取代等權重殘差，實現選擇性擷取。在 48B Kimi Linear 模型中，提升 GPQA +7.5、Math +3.6、HumanEval +3.1，訓練成本 <4%、延遲 <2%。以 1.25 倍少計算匹配基準損失。

Truffle Security 發現 768 組外洩的 AWS 金鑰，可對企業帳戶提供廣泛控制權，其中包括 526 組根金鑰。在受測憑證中，仍有 88% 處於啟用狀態；而 AWS 的隔離政策仍允許許多具破壞性的操作。

GDS Holdings 顯示，AI 相關資料中心訂單的增長速度快於已確認收入。這項趨勢反映需求強勁，但基礎設施擴建週期也使獲利延後。

TikTok 與 ByteDance 同意支付 4 億美元，和解美國司法部提起的案件；該案指控數百萬名未滿 13 歲兒童使用平台，且其資料在未獲家長同意下遭到蒐集。愛爾蘭監管機構也曾在 2023 年因兒童帳戶問題對 TikTok 罰款 3.45 億歐元。

隨著 AI 工作負載提高對系統資源的需求，Microsoft 正重新最佳化 8GB 以上裝置的 Windows 記憶體使用。文章認為，舊版相容性、整合服務、WebView2 與分散的資源管理，正壓縮本地模型和 AI Agent 可用的記憶體空間。

文章探討具身智能如何進入一場長期尋找產品市場契合度（PMF）的過程。文章認為，商業成功不會立即到來，因為技術路線仍未定型，而場景與規模之爭才剛開始。

一份最新報告警告，生成式AI正助長大學無人監考線上考試中的大規模作弊。相關機構敦促高校重新檢視這類評量，因為考試很容易被繞過，可能已無法可靠衡量學生的知識。

量子位報導星海圖與產業夥伴共同討論具身智能從模型走向生產力的路徑。文章強調透過產業協作，推動具身智能真正落地到多個行業。