🕷️
SetupAI
EN
🦙較早收集於 12h

Llama.cpp 新增真正推理預算控制

Llama.cpp 新增真正推理預算控制
PostLinkedIn
🦙閱讀原文： Reddit r/LocalLLaMA
#reasoning#sampler#budgetllama.cppllama.cppqwen3

💡精準控制 llama.cpp 推理 token—搭配訊息提升 HumanEval 分數 (24字)

⚡ 30-Second TL;DR

有什麼變化

真正 --reasoning-budget 經 sampler 計數並終止推理 token。

為什麼重要

實現推理成本精準控制，平衡品質與效率。適合需 token 限制的生產部署，避免品質斷崖。

下一步行動

在 llama.cpp 中用自訂訊息測試你的 Qwen 模型 --reasoning-budget 1000。

誰應關注：Developers & AI Engineers

關鍵要點

  • •真正 --reasoning-budget 經 sampler 計數並終止推理 token。
  • •--reasoning-budget-message 如 '預算超支，現在回答' 防效能下降。
  • •Qwen3 9B HumanEval：94% 完整推理、budget=1000 時 89%、無訊息 78%。
  • •經 budget=0 在強模型如 StepFun 3.5 停用思考。

🧠 深度解析

背景與延伸：來自公開資料，非原文內容。引用 7 個來源。

🔑 增強重點摘要

  • •llama.cpp 的 --reasoning-budget 旗標先前被視為 hacky override，需要重構以改善在特定模型上的停用推理功能[4]。
  • •相關討論中提到 Token Information Dynamics Control (Early-Exit) 功能，基於 logits 的資訊動態實現動態推理控制，允許模型提前終止生成[7]。
  • •在 GitHub 問題中，報告某些模型上停用推理功能失效，顯示此功能在不同模型間的相容性挑戰[4]。

🔮 前景展望AI analysis grounded in cited sources

llama.cpp 將重構 --reasoning-budget 以提升跨模型穩定性
GitHub 問題顯示現有實現為 hacky，需要調整行為以符合預期終止邏輯[4]。
推理預算控制將整合更多動態機制如 early-exit
討論中 Token Information Dynamics Control 提供基於 logits 的提前終止，補充 token 計數方法[7]。

⏳ 時間線

2026-02
llama.cpp GitHub 報告討論推理相關問題與記憶體管理挑戰
2026-03
發布基於 sampler 的真正推理預算控制功能
🦙閱讀原文： Reddit r/LocalLLaMA
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

同主題

探索 #reasoning

同產品

更多關於 llama.cpp

同來源

最新來自 Reddit r/LocalLLaMA

🦙

為 16GB VRAM 調校 Qwen3.8

Reddit r/LocalLLaMA•Aug 22
Qwen3.8-27B Q6 持續維持每秒 60+ Tokens

Qwen3.8-27B Q6 持續維持每秒 60+ Tokens

Reddit r/LocalLLaMA•Aug 21

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗

這是摘要，不是原文。去看原站，或訂閱每週簡報。

每週 AI 簡報

每週一封，可隨時退訂。