Domestic AI achieves self-evolution, outperforming Nvidia Megatron

•此次突破由中國的面壁智能（OpenBMB）團隊實現，其AI自主編寫的預訓練框架名為ForgeTrain，並用其訓練出MiniCPM5-1B模型。
•ForgeTrain是全球首個完全由AI編寫的生產級大模型預訓練框架，其性能已超越Nvidia Megatron。
•除了超越Nvidia Megatron，ForgeTrain在華為昇騰（Ascend）硬體上預訓練MiniCPM5-1B時，相較於昇騰自身的框架也實現了10%的加速。
•AI創造AI的過程採用三階段方法論：從現有預訓練框架收集關鍵數據以建立評測標準和測試環境（Harness），然後從該測試環境構建二進制一致的預訓練框架版本，最後解除二進制一致性限制並迭代優化以超越參考實現。
•由ForgeTrain訓練出的MiniCPM5-1B模型已全面開源，並在公開評測中刷新了小模型的智能密度上限。

📊 競品分析▸ Show

特性/產品	面壁智能 ForgeTrain (AI生成)	Nvidia Megatron Core (人類設計)
核心功能	AI自主編寫的生產級大模型預訓練框架，用於訓練新的AI模型。	用於大規模生成式AI的可組合訓練庫，提供GPU優化的基礎構件。
訓練速度	訓練速度較Nvidia Megatron框架提升10%。	作為業界領先框架，提供高效能訓練，並支援多達6K+ H100 GPU的規模訓練。
模型生成方式	AI自主創造AI模型及預訓練框架，實現自我進化。	供人類開發者構建和訓練大型語言模型、MoE模型及多模態模型。
支援硬體	在華為昇騰上預訓練MiniCPM5-1B時，相比昇騰框架加速10%。	針對NVIDIA GPU優化，支援多種NVIDIA GPU，並與Transformer Engine等庫集成。
並行技術	(文章未明確提及具體並行技術，但作為預訓練框架應具備)	提供張量、序列、工作流、上下文和MoE專家並行等先進模型並行技術。
開源狀態	由ForgeTrain訓練的MiniCPM5-1B模型已全面開源。	PyTorch開源庫，提供用於高效大規模生成式AI訓練的基本構建塊。

AI創造者與被創造者： 面壁智能的AI系統自主編寫了預訓練框架ForgeTrain，並利用ForgeTrain訓練出MiniCPM5-1B模型。
AI編寫框架機制： AI被置於一個「Harness」（考場）中，自動生成程式碼、運行測試、接收反饋並進行修改，整個過程無需人類干預。
三階段構建方法論：
- 從現有預訓練框架中採集關鍵數據，形成評測標準和測試環境（Harness）。
- 從評測Harness構建出二進制一致的預訓練框架版本。
- 解除二進制一致性的限制，並迭代優化框架，使其性能超越參考實現。
Nvidia Megatron Core技術特性（作為對比基準）：
- 基於PyTorch的開源庫，提供用於高效大規模生成式AI訓練的基本構建塊。
- 支援多種模型並行技術，包括張量並行、序列並行、工作流並行、上下文並行和MoE專家並行。
- 具備記憶體節省功能，如激活重計算、分佈式優化器和分佈式檢查點。
- 提供可定制的基礎模組，如Transformer模型的注意力機制、歸一化層和嵌入技術。
- 具備可擴展性和訓練彈性，包括自動重啟、故障/卡頓檢測和快速分佈式檢查點。

AI開發週期將大幅縮短。

AI自動生成並優化預訓練框架的能力，能顯著減少人工設計與調試所需的時間，加速新模型的誕生。

國產AI晶片生態系統的發展將加速。

AI能夠自動生成適配各種新模型和新硬體的專屬預訓練框架，有助於國產晶片快速追趕國際頂尖生態，縮短技術差距。

AI模型將實現更深層次的自主創新。

當AI能夠憑藉自身的邏輯和演算法開拓全新的知識領域，而非僅僅模仿人類設計，將開啟模型架構的「機器靈感」時代。

2017-00

Google正式提出神經架構搜索（NAS），作為AutoML的核心組成部分，旨在自動化生成模型架構。

2025-08

SII-GAIR團隊發布ASI-ARCH系統，實現AI從構思、編程、訓練到驗證全程自動完成，無需人類干預。

2026-05-26

面壁智能（OpenBMB）發布ForgeTrain，全球首個完全由AI編寫的生產級大模型預訓練框架，並宣布其訓練速度超越Nvidia Megatron。

國產 AI 實現自我進化，訓練速度超越 Nvidia Megatron