🏠IT之家•較早收集於 13m
華為開源 920 億參數 openPangu-2.0-Flash 模型
💡具備 512K 上下文視窗的 920 億參數開源模型，專為昇騰硬體優化。
⚡ 30-Second TL;DR
有什麼變化
openPangu-2.0-Flash 包含 920 億總參數，激活參數為 60 億
為什麼重要
Pangu 模型的開源強化了昇騰原生 AI 生態系統，為開發者提供了更多高性能、長上下文 LLM 部署的選擇。
下一步行動
請前往 GitCode 探索 openPangu-2.0-Flash 儲存庫，並針對您的特定應用場景，將其與其他開源模型進行效能基準測試。
誰應關注：Researchers & Academics
關鍵要點
- •openPangu-2.0-Flash 包含 920 億總參數，激活參數為 60 億
- •該模型支援 512K 上下文視窗，適用於長序列任務
- •模型權重、推理代碼及算子已於 GitCode 平台開源
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •openPangu-2.0-Flash 採用了混合專家模型（MoE）架構，這是其能夠在 920 億總參數下僅激活 60 億參數的關鍵技術基礎。
- •該模型針對華為昇騰（Ascend）系列 AI 加速卡進行了深度優化，特別是在算子融合與記憶體管理方面，以提升在國產硬體上的推理效率。
- •華為此次開源行動旨在降低開發者使用昇騰生態的門檻，並透過 GitCode 平台提供完整的模型訓練與微調工具鏈。
- •模型在長文本處理能力上，透過優化注意力機制（Attention Mechanism），顯著降低了 512K 上下文視窗下的顯存佔用。
- •openPangu-2.0-Flash 的發布標誌著華為盤古大模型系列從封閉走向開放，試圖在開源社群中建立與 Llama 或 Qwen 系列競爭的技術影響力。
📊 競品分析▸ Show
| 特性 | openPangu-2.0-Flash | Llama 3.1 (70B) | Qwen2.5-72B |
|---|---|---|---|
| 架構 | MoE (92B/6B) | Dense | Dense |
| 上下文視窗 | 512K | 128K | 128K |
| 硬體優化 | 昇騰 (Ascend) | NVIDIA GPU | NVIDIA GPU |
| 開源協議 | 華為自定義協議 | Llama 3.1 License | Apache 2.0 |
🛠️ 技術深入
- 架構設計：採用稀疏混合專家模型（Sparse MoE），透過路由機制僅激活部分參數，大幅降低推理延遲與計算成本。
- 記憶體優化：引入了針對昇騰 NPU 的算子級優化，支援 FlashAttention 的變體實現，以適應長序列任務的記憶體需求。
- 訓練框架：基於 MindSpore 深度學習框架開發，利用其自動並行與圖優化能力實現高效訓練。
- 推理部署：提供針對昇騰環境的推理加速引擎，支援量化部署（如 FP8/INT8），以進一步提升吞吐量。
🔮 前景展望AI analysis grounded in cited sources
昇騰生態系統的開發者活躍度將顯著提升
透過開源高性能模型，華為能有效吸引原本依賴 NVIDIA 生態的開發者轉向昇騰平台進行應用開發。
華為將在國產算力市場佔據更高的市佔率
軟硬體協同的開源策略降低了企業部署大模型的成本，將加速國產 AI 基礎設施的普及。
⏳ 時間線
2021-04
華為發布盤古大模型（Pangu-Alpha）
2023-07
華為發布盤古大模型 3.0，強調行業應用與昇騰算力結合
2024-09
華為正式推出 GitCode 開源代碼託管平台
2026-06
華為開源 openPangu-2.0-Flash 模型
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： IT之家 ↗