在 GB300 上執行具可配置推理能力的 Qwen3.8-Max

💡了解如何在 GB300 NVL72 上部署具可配置推理能力的 2.4T 開放權重模型。

⚡ 30-Second TL;DR

有什麼變化

Qwen3.8-2.4T-A95B 擁有 2.4 兆個總參數，每個 token 啟用 950 億個參數。

為什麼重要

此發布讓開發者能使用超大型開放權重模型，並在推理深度與服務成本之間進行取捨。模型規模也代表高階 GPU 基礎設施、記憶體容量與最佳化推理將成為正式部署時的關鍵考量。

下一步行動

下載 Qwen3.8-2.4T-A95B 開放權重，並在 NVIDIA GB300 NVL72 測試環境中評估可配置推理能力，再規劃正式部署容量。

誰應關注：Developers & AI Engineers

AI-generated analysis for this event.

•Qwen3.8-Max 採用了 NVIDIA TensorRT-LLM 進行深度優化，特別針對 GB300 的 NVLink Switch 互連架構進行了張量並行（Tensor Parallelism）與流水線並行（Pipeline Parallelism）的混合策略調優。
•該模型在推理過程中引入了動態權重量化技術（FP8/INT8），使得 2.4 兆參數模型能夠在單個 GB300 NVL72 機櫃中實現低延遲的吞吐量，顯著降低了記憶體頻寬瓶頸。
•Alibaba 此次發布的開放權重版本包含了針對長文本（Long-Context）處理的特殊優化，支援高達 100 萬 token 的上下文視窗，並在多語言理解任務上超越了前代 Qwen2.5 系列。
•NVIDIA 在部署指南中強調了對 GB300 記憶體池化（Memory Pooling）技術的利用，允許模型在多個 GPU 節點間無縫切換，以應對不同推理負載下的動態資源分配。
•Qwen3.8-Max 的訓練過程使用了 Alibaba 自研的大規模分散式訓練框架，該框架與 NVIDIA 的 NCCL 通訊庫進行了底層整合，大幅提升了超大規模 MoE 模型在訓練階段的收斂效率。

📊 競品分析▸ Show

特性	Qwen3.8-Max	Llama 4 (假設)	DeepSeek-V3
參數規模	2.4T (MoE)	預估 1T+	671B (MoE)
部署硬體	NVIDIA GB300	多平台	通用 GPU
開放程度	開放權重	開放權重	開放權重
推理優化	TensorRT-LLM	待定	深度優化

架構細節：採用了細粒度混合專家（Fine-grained MoE）架構，每個 token 僅啟用 950 億參數，有效平衡了模型容量與推理成本。
注意力機制：結合了完整注意力（Full Attention）處理長距離依賴，以及線性注意力（Linear Attention）機制以降低長序列推理時的計算複雜度。
硬體加速：利用 NVIDIA GB300 的 Blackwell 架構特性，透過第二代 Transformer Engine 實現 FP8 精度下的高效矩陣運算。
記憶體管理：透過 NVLink Switch 系統實現 GPU 間的高速記憶體共享，解決了 2.4T 參數模型在單節點記憶體容量不足的問題。