Huawei 晶片成功訓練 DeepSeek-V4-Pro 模型

華為昇騰910C晶片：

• 製程工藝：採用中芯國際（SMIC）的N+2（第二代7奈米級）製程製造。
• 架構：並非全新架構，而是將兩顆已有的昇騰910B晶片透過先進封裝技術巧妙整合在一起的「合體術」。
• 晶體管數量：約530億個晶體管。
• FP16算力：單卡約320 TFLOPS (根據910B優化數據)，分析師預計可達800 TFLOPS。
• 記憶體頻寬：分析師預估約3.2 TB/s。
• 功耗：約250W，相較H100的700W顯著節能。
• 封裝方案：採用將兩顆獨立的910B晶片分別放置在各自的矽中介層上，再透過有機基板連接的方案，相較NVIDIA的CoWoS等先進封裝方案，互聯頻寬可能較低。
• 軟體棧：依賴華為自研的CANN（Compute Architecture for Neural Networks）異構計算架構，支援多種AI框架，並提供ACL介面供開發者自訂高性能算子。

DeepSeek-V4-Pro模型：

• 模型類型：混合專家（Mixture-of-Experts, MoE）語言模型。
• 參數規模：總參數量達1.6兆（1.6T），激活參數為490億。
• 上下文長度：原生支持100萬Token的超長上下文窗口。
• 架構創新：
  • 混合注意力架構：結合壓縮稀疏注意力（CSA）與重度壓縮注意力（HCA），顯著提升長上下文處理效率。在1M Token上下文場景下，單Token推理FLOPs僅為DeepSeek-V3.2的27%，KV緩存佔用僅為10%。
  • 流形約束超連接（mHC）：增強傳統殘差連接，提升信號傳播穩定性。
  • Muon優化器：用於實現更快的模型收斂和更穩定的訓練過程。
• 訓練數據：基於超過32兆（32T）多樣化高品質語料進行預訓練。
• 訓練效率：在昇騰910C集群上進行全參數後訓練時，模型算力利用率（MFU）穩定在34.9%，關鍵訓練算子效率提升14%。
• 推理模式：DeepSeek-V4-Pro-Max是其極致推理模式，在知識能力、編碼基準和推理任務上表現優異。