Mercury 2.5 帶來超高速擴散式推理

有什麼變化

Mercury 2.5 宣稱可達每秒 1,107 個 token 的生成速度。

為什麼重要

高吞吐量與長 context window 的組合，可能讓 Mercury 2.5 適合對延遲敏感的應用與大型文件工作流程。開發者仍需獨立測試，以驗證其品質、可靠性，以及擴散式推理在實際使用中的經濟效益。

下一步行動

在對延遲敏感及需要長 context 的工作負載上測試 Mercury 2.5，並與目前使用的 LLM 比較輸出品質與成本。