Search

直接匹配不多,已補上最新動態。

Tag: #power-law3 results

冪律分布提升AI組合推理

冪律分布提升AI組合推理

在狀態追蹤和多步運算等組合推理任務中,使用冪律分布自然語言資料訓練AI模型優於均勻分布。冪律抽樣產生有益不對稱性,改善損失景觀,讓模型先以低資料複雜度習得高頻技能組合,進而有效學習罕見長尾技能。理論證明顯示需更少訓練資料。

Apple 新 LLM 下游縮放定律

Apple 新 LLM 下游縮放定律

Apple 研究人員挑戰傳統 LLM 縮放定律,提出直接框架從訓練預算預測下游基準效能。他們發現簡單冪律能精準描述固定 token-參數比率下多個熱門任務的 log 準確度縮放。此直接方法比先前兩階段方法外推更佳。

Apple Machine LearningOfficialMar 26#scaling-laws#downstream-metrics#power-law
Ox Alpha:神秘模型公開亮相

Ox Alpha:神秘模型公開亮相

Ox Alpha 是一款透過 OpenRouter 與 OpenCode 提供的匿名模型,具備 100 萬 token 上下文、圖片與影片輸入、工具呼叫及免費使用等能力。早期測試顯示其推理與程式設計表現強勁,但開發者、參數量、訓練資料與正式基準排名仍未獲確認。