FriendliAI 推出 InferenceSense 貨幣化閒置 GPU

🔑 增強重點摘要

• •FriendliAI 的 Iteration Batching 技術可提升 LLM 推理吞吐量達 10.7 倍，並降低延遲達 6.2 倍，同時減少 GPU 需求達 6 倍。[3][5]
• •平台支援 Multi-LoRA 技術，讓單一 GPU 運行多個自訂模型，實現 50% 至 90% 的成本降低。[3][5]
• •FriendliAI 整合 Speculative Decoding 和 NVFP4 量化等創新，提升如 NVIDIA Nemotron 3 Nano 模型的 token 生成速度達 13 倍，並支援 100 萬 token 上下文長度。[5][8]

🛠️ 技術深入

• •採用 Iteration Batching 處理並發生成請求，提升 LLM 推理效率。[5]
• •整合 Speculative Decoding，平行預測未來 token 以加速生成而不損品質。[5]
• •支援 Native Quantization 如 FP8、INT8 和 NVFP4，結合 custom GPU kernels 和 TCache 實現高吞吐與低延遲。[3][5][8]
• •Multi-LoRA 技術允許單 GPU 運行多適配器模型，降低部署成本。[5]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線