StepFun 完全開源 Step 3.5 Flash

🔑 增強重點摘要

• •Step 3.5 Flash 採用 45 層 Transformer 骨幹，隱藏維度 4,096，詞彙量 128,896 tokens。
• •模型支援 262K 上下文窗口與 66K 最大輸出長度，推理速度達 100-300 tok/s，峰值 350 tok/s。
• •在基準測試中表現優異，包括 AIME 2025 97.3 分、SWE-bench Verified 74.4%、LiveCodeBench-V6 86.4%。
• •SiliconFlow 提供 API 服務，輸入 $0.1/M tokens、輸出 $0.3/M tokens，並支援工具呼叫。

🛠️ 技術深入

• •稀疏混合專家 (Sparse MoE) Transformer 架構，總參數 196.81B，每 token 僅激活 11B。
• •45 層 Transformer 骨幹，隱藏維度 4,096，上下文窗口 256K-262K，詞彙量 128,896 tokens。
• •採用 3-way Multi-Token Prediction (MTP-3) 實現 100-300 tok/s 速度，峰值 350 tok/s；3:1 Sliding Window Attention (SWA) 優化長上下文。
• •FP8 精度權重可用，支援 vLLM 部署 (需 tensor-parallel-size 8、enable-expert-parallel)，llama.cpp GGUF int4 需 120GB VRAM。
• •推理指令範例：vllm serve 包含 --reasoning-parser step3p5、--enable-auto-tool-choice 等參數。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線