資料受限混合預訓練的縮放定律
Apple Machine Learning 研究如何在語言模型預訓練期間，將稀缺的目標領域資料與大量通用資料混合。該研究涵蓋超過 2,000 次訓練實驗，分析目標資料暴露不足、樣本重複、效益遞減與過擬合之間的取捨。
Search
Tag: #scaling-laws37 results
Z.ai 重新思考超越參數量的模型擴展
Z.ai 認為，模型擴展不應只看參數量，還需考慮資料、運算分配、推理成本、稀疏性、有效深度與後訓練。文章將 GLM-5.3 描述為一項受控實驗：維持與 GLM-5.2 相同的總參數及啟用參數，同時進行一個月的長期環境與強化學習擴展。
Anthropic、Dario Amodei 與「最後一家私營公司」
本文剖析 Dario Amodei 同時身為 AI 安全倡議者，以及 Anthropic 前沿模型加速開發領導者的雙重角色。文章追溯他在科學研究、OpenAI、規模定律與組織衝突中的經歷，如何塑造 Anthropic 的策略與治理理念。
xAI 的 2 兆參數模型 Grok 4.6 即將完成訓練
Elon Musk 宣布 xAI 正處於 2 兆參數模型 Grok 4.6 訓練的最後階段。該模型旨在超越 1.5T 版本性能，同時保持相近的推理效率。
字節跳動 Seedance 2.0：實現盈利的影片 AI 突破
Seedance 2.0 已成為字節跳動火山引擎的主要營收來源，標誌著該公司 AI 策略的轉折點。透過轉向 DiT 架構並專注於高品質影片生成，該模型取得了顯著的商業成功。
🤖
OpenAI 發佈 GPT-Image-2，應對激烈競爭
OpenAI 發佈了 GPT-Image-2 以重振市場聲勢，同時面對 Anthropic 等競爭對手在估值上的大幅追趕。文章指出，僅靠模型性能競爭的時代已經結束，AI 的重點正轉向無處不在的應用整合。
中國AI策略：算力受限下的極致效率
對14家中國AI實驗室的實地考察顯示，儘管面臨嚴重的算力缺口，中國AI產業透過極致的效率優化與開源生態反饋，實現了極具競爭力的模型性能。
具身Scaling Law押對！獨角獸新品1小時學新任務，重複1800次成功率99%
Unitree新機器人產品利用具身Scaling Law，1小時內學會新任務。重複1800次達99%成功率。此標誌機器人模型新高峰。
黃仁勳宣告AGI已實現，拒絕接班計劃
NVIDIA執行長黃仁勳斷言AGI已實現，因AI代理自主創造巨額經濟價值。概述四大AI擴展階段，以「代理擴展」為下個iPhone時刻。強調AI工廠極致協同設計，人性特質如同理心為未來護城河。
黃仁勳：AGI已來，中國AI最快
NVIDIA執行長黃仁勳對Lex Fridman表示，AGI已實現，中國透過隱性開源領先AI進化，全球程式員將達10億，並揭露英偉達萬億AI工廠策略與極致協同設計。