Search

Tag: #generalization12 results

Zhang 2016粉碎DL泛化理論

Zhang et al. 2016顯示標準NN與SGD在真實標籤上泛化，但在隨機標籤上記憶，違反VC維度與Rademacher複雜度。挑戰統計學習理論解釋深度網的主導地位。此文標誌DL理論樂觀危機。

機器人新創 Physical Intelligence 推出 π0.7，這款新模型能執行從未明確訓練過的任務。公司稱這是邁向通用機器人腦的早期但重要一步。

挑戰 SFT 僅記憶而 RL 泛化的說法於推理任務。跨領域泛化取決於優化動態、資料品質與基礎模型能力。揭示訓練中的 dip-and-recovery 模式，以及推理與安全的不對稱影響。

此實證研究分析超過 2,000 篇 RL 出版物，描繪從物理模擬到 LLM 驅動代理的演進。它提出多維分類法，揭示分野為「語意優先」（LLM 主導）和「領域特定泛化」生態系統。此研究揭示認知指紋，並為下一代具身語意模擬器提供路線圖。

OIST研究顯示，具「自我低語」內部對話及工作記憶的AI模型，在稀疏數據下展現優異學習效率、多任務泛化及適應力。模擬人類內心獨白，於序列反轉等複雜任務卓越。成果刊載於Neural Computation。

麻省理工的托馬索·波焦將當前 AI 比作麥克斯威爾之前的電學，由工程驅動而缺乏深層理論。他主張稀疏組合性——組合簡單低維函數——以實現智能系統的泛化。討論涵蓋從核機器到深度網路的學習理論。

原力靈機發布了全新 DM0.5 模型，該模型經過 15 萬小時的數據訓練。其 Zero-Shot 性能提升了 31%，並展現出泛化湧現的跡象。

睿爾曼發布AI智能示教泛化系統，透過智能示教賦予機械臂自我成長能力。系統由「AI三引擎」協同運作，提升泛化性能。

Decoupled Descent 是一種運用 approximate message passing 與 Onsager 修正，處理全批次梯度下降資料重用偏差的訓練方法。在高維 Gaussian mixture 實驗中，該方法提供漸近保證，使每個參數迭代點的訓練與測試誤差保持一致。

報導指出清華大學頂尖數學計畫可能清退未能適應非標準化考試的學生，凸顯了學生在應試教育下擅長機械刷題，卻缺乏創造性解決問題能力的「過擬合」問題。

Page 1 of 2