Search

Tag: #pre-training6 results

百度正式發布文心大模型5.1

百度正式發布新一代基礎大模型文心大模型 5.1。採用「多維彈性預訓練」技術，以業界同規模模型約6%的預訓練成本，達到領先效果，登上LMArena搜索榜國內第一。

何凱明團隊推出GeoPT，這是一種突破性的預訓練範式。它讓模型自主學習真實世界的物理規律。這將AI推向更直觀的物理理解。

研究人員彙編了 160GB 的 1800-1875 年間英文文本數據集，用於訓練專業語言模型。目前已釋出 500M 參數的評估模型，並計畫訓練更大的 2B 參數模型。

建議在預訓練前替換暴力或欺瞞等不良資料，提升對齊與可控性。兩種方法：保留敘事風格的替換，以及最小化漢明距離的語標替換。在 WikiText-103 的自訂模型中消除暴力，維持連貫性。

Reddit r/MachineLearningCommunity•Mar 29#alignment #data-curation #pre-training

字節的「羅福莉」撐起了Seedance的半邊天。作為預訓練負責人，塑造了模型的世界觀。這凸顯模型開發中的關鍵人才。

基礎教育類比AI預訓練：建立知識鏈、語言技能、自學能力。強調情感體驗、興趣培養、心理韌性勝於分數。人類擅長需求辨識，避免工業式死記模式。