KALAVAI 預測專家模型融合成功
KALAVAI 是一種方法,將獨立微調的專家模型透過輕量路由器融合成優越的 MoE,帶來 6-8% 的穩定提升,超越個別專家。提升可透過基於專家分歧的線性公式預測(R²=0.856)。跨語言結果令人興奮,無需資料共享即可大幅降低困惑度。
直接匹配不多,已補上最新動態。
Tag: #cross-lingual2 results
KALAVAI 是一種方法,將獨立微調的專家模型透過輕量路由器融合成優越的 MoE,帶來 6-8% 的穩定提升,超越個別專家。提升可透過基於專家分歧的線性公式預測(R²=0.856)。跨語言結果令人興奮,無需資料共享即可大幅降低困惑度。

作者指出 Google Gemini 在交叉比對中英文數據時存在顯著的可靠性問題。模型表現出明顯的幻覺模式,包括英文內容中的虛假引用,以及中文內容中缺乏全球視野的封閉觀點。

Truffle Security 發現 768 組外洩的 AWS 金鑰,可對企業帳戶提供廣泛控制權,其中包括 526 組根金鑰。在受測憑證中,仍有 88% 處於啟用狀態;而 AWS 的隔離政策仍允許許多具破壞性的操作。

GDS Holdings 顯示,AI 相關資料中心訂單的增長速度快於已確認收入。這項趨勢反映需求強勁,但基礎設施擴建週期也使獲利延後。

TikTok 與 ByteDance 同意支付 4 億美元,和解美國司法部提起的案件;該案指控數百萬名未滿 13 歲兒童使用平台,且其資料在未獲家長同意下遭到蒐集。愛爾蘭監管機構也曾在 2023 年因兒童帳戶問題對 TikTok 罰款 3.45 億歐元。

隨著 AI 工作負載提高對系統資源的需求,Microsoft 正重新最佳化 8GB 以上裝置的 Windows 記憶體使用。文章認為,舊版相容性、整合服務、WebView2 與分散的資源管理,正壓縮本地模型和 AI Agent 可用的記憶體空間。

文章探討具身智能如何進入一場長期尋找產品市場契合度(PMF)的過程。文章認為,商業成功不會立即到來,因為技術路線仍未定型,而場景與規模之爭才剛開始。

一份最新報告警告,生成式AI正助長大學無人監考線上考試中的大規模作弊。相關機構敦促高校重新檢視這類評量,因為考試很容易被繞過,可能已無法可靠衡量學生的知識。

量子位報導星海圖與產業夥伴共同討論具身智能從模型走向生產力的路徑。文章強調透過產業協作,推動具身智能真正落地到多個行業。

OpenAI 表示 Codex 活躍使用者已突破 2,000 萬,第三方追蹤數據則顯示其近期增速超越 Claude Code。Claude Code 目前規模仍較大且深受開發者採用,但隨著 Anthropic 接近早期市場飽和,其高速成長已經放緩。