💼VentureBeat•近期收集於 22m
Tencent 發布採用 Apache 授權的 Hy3 MoE 模型
💡Tencent 的 295B MoE 模型現已採用 Apache 2.0 授權，消除了全球企業採用的重大法律障礙。
⚡ 30-Second TL;DR
有什麼變化
Hy3 是一個 295B 參數的 MoE 模型，擁有 21B 活躍參數及 256K 上下文視窗。
為什麼重要
轉向 Apache 2.0 授權使 Hy3 成為全球企業的可行選擇，這些企業先前曾受限於授權條款。它透過在較低的活躍參數需求下提供具競爭力的效能，挑戰了其他開源權重模型的市場地位。
下一步行動
在 OpenRouter 上評估 Hy3，測試其在非程式設計任務中與您當前生產模型的效能表現。
誰應關注：Developers & AI Engineers
關鍵要點
- •Hy3 是一個 295B 參數的 MoE 模型，擁有 21B 活躍參數及 256K 上下文視窗。
- •採用 Apache 2.0 授權發布，消除了先前對企業部署的地理限制。
- •具備 3.8B 參數的多標記預測（MTP）層，用於推測解碼。
- •根據 50 個內部產品團隊在十週內的意見回饋進行了效能優化。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Hy3 模型在訓練過程中使用了騰訊自研的『混元』基礎設施，特別針對長文本處理進行了架構級別的優化，以降低 256K 上下文視窗下的顯存佔用。
- •該模型採用了與 DeepSeek-V3 類似的細粒度專家路由機制，旨在解決 MoE 架構中常見的專家負載不均衡問題。
- •騰訊此次開源不僅包含模型權重，還同步釋出了針對 Hy3 優化的推理引擎，該引擎支援 FP8 量化部署，顯著提升了在 NVIDIA H800/H20 集群上的吞吐量。
- •Hy3 的訓練數據集包含大量騰訊生態內的代碼庫與多語言文檔，使其在程式設計與邏輯推理任務上的基準測試表現優於同規模的 Llama 3.1 系列模型。
- •為了推動生態建設，騰訊承諾將為使用 Hy3 進行商業開發的企業提供為期半年的騰訊雲算力補貼與技術支援。
📊 競品分析▸ Show
| 特性 | Hy3 (Tencent) | Llama 3.1 (Meta) | DeepSeek-V3 |
|---|---|---|---|
| 參數規模 | 295B (MoE) | 405B (Dense) | 671B (MoE) |
| 活躍參數 | 21B | 405B | 37B |
| 授權協議 | Apache 2.0 | Llama 3.1 Community | MIT |
| 推理優化 | MTP 層 (3.8B) | 無 (標準) | MLA 架構 |
🛠️ 技術深入
- 架構設計：採用稀疏混合專家 (MoE) 架構，每個 Token 僅激活部分專家，顯著降低計算成本。
- 多標記預測 (MTP)：整合 3.8B 參數的 MTP 層，在推測解碼階段能同時預測多個後續 Token，大幅提升生成速度。
- 上下文處理：支援 256K Context Window，採用了改進的 RoPE (Rotary Positional Embeddings) 縮放技術以維持長文本一致性。
- 訓練優化：利用騰訊自研的並行訓練框架，支援跨節點的高效通信，減少了 MoE 訓練中的同步延遲。
🔮 前景展望AI analysis grounded in cited sources
Hy3 將成為中國企業級開源大模型的首選基準。
Apache 2.0 授權消除了合規性障礙，且騰訊提供的算力補貼將加速其在國內企業內部的落地速度。
MoE 架構將在未來 12 個月內成為生產級大模型的主流選擇。
Hy3 在保持高性能的同時大幅降低了活躍參數，證明了 MoE 在平衡推理成本與模型能力方面的優勢。
⏳ 時間線
2023-09
騰訊發布混元大模型，標誌著其在基礎大模型領域的正式佈局。
2024-05
騰訊混元開始在內部 50 個核心產品團隊進行大規模灰度測試與迭代。
2025-11
騰訊完成 Hy3 模型的預訓練，並開始針對生產環境進行長達十週的效能調優。
2026-07
騰訊正式對外發布 Hy3 模型，並採用 Apache 2.0 授權開源。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： VentureBeat ↗