共同設計晶片使 DeepSeek V4 推論成本降低 75%

DeepSeek V4 模型架構:

• 總參數: Pro版約1.6兆，Flash版約2840億。
• 活躍參數: 透過稀疏混合專家 (MoE) 架構，每次前向傳播僅啟動約370億至490億個參數 (Pro版) 或約130億個參數 (Flash版)。
• 上下文視窗: 支援100萬個token。
• 架構創新:
  • 流形約束超連接 (mHC): 一種新的層間連接方式，用於在大型程式碼庫或文件中保持長距離上下文，使模型更輕、更快、更準確。
  • 混合注意力架構: 結合壓縮稀疏注意力 (CSA) 和重度壓縮注意力 (HCA)，在100萬token上下文下，DeepSeek-V4-Pro的單token推論FLOPs和KV快取需求比V3.2分別減少27%和10%。
  • 多token預測 (MTP): 在訓練期間學習同時預測多個未來token，提高樣本效率和輸出連貫性。
  • Muon最佳化器: 提供更快的收斂速度和改進的訓練穩定性。
  • 混合精度訓練: MoE專家參數使用FP4精度，大多數其他參數使用FP8，以最大化記憶體效率而不損害效能。
• 多模態支援: 旗艦V4模型原生支援文本、圖像、影片和音訊。

華為昇騰950DT AI加速器:

• 定位: 針對推論的解碼階段和模型訓練進行最佳化。
• 記憶體: 採用華為專有的HiZQ 2.0 HBM，提供144GB記憶體容量和4TB/s的記憶體存取頻寬。
• 互連: 總互連頻寬達2TB/s (透過UnifiedBus)。
• 支援資料格式: 支援FP8、MXFP8、MXFP4和HiF8等低精度資料格式。
• 峰值效能: FP8/MXFP8/HiF8可達1 PFLOPS，MXFP4可達2 PFLOPS。
• 架構: 基於達文西 (Da Vinci) 架構，包含可擴展的AI核心 (DaVinci Max/Lite/Tiny變體)，針對神經網路進行最佳化，配備向量處理單元 (VPU) 和矩陣乘法引擎 (MTE)。
• 軟體堆疊: 依賴CANN (Compute Architecture for Neural Networks) 框架，類似於NVIDIA的CUDA，提供低階工具、執行時函式庫和超過1000個運算子。
• 製造工藝: 透過自對準四重圖案化 (SAQP) 技術，使用深紫外 (DUV) 微影實現5奈米級密度。