AutoTTS automates LLM reasoning to cut token usage by 69.5%

•AutoTTS 的策略發現過程極具成本效益，僅需約39.90美元的API呼叫費用和160分鐘的實際運行時間即可完成一次完整的發現運行，因為它在離線重放環境中操作，在評估期間無需進行新的LLM呼叫。
•該框架利用Anthropic的Claude Code作為探索代理，透過根據執行追蹤的回饋迭代重寫Python程式碼，自主開發、測試和完善推理策略。
•AutoTTS 發現的策略展現了泛化能力，能夠在不同模型規模（例如Qwen3模型尺寸）和各種基準測試（AIME24、AIME25、HMMT25）上有效執行，甚至在某些設定下，其準確度能超越手工設計的基準線。
•AutoTTS 將測試時縮放（TTS）設計重新定義為基於預先收集的推理軌跡和探測訊號的控制器合成，其中控制器在定義的寬度-深度控制空間內決定何時進行分支、繼續、探測、修剪或停止。

代理式發現迴圈（Agentic Discovery Loop）：AutoTTS 採用一個AI代理（特別是Anthropic的Claude Code）來編寫、測試和完善控制器程式碼。該代理在一個回饋迴圈中運行，接收準確度數據、代幣成本和詳細的執行追蹤，以診斷故障模式並迭代改進控制器。
離線重放環境（Offline Replay Environment）：為了確保成本效益和效率，發現過程在預先建立的離線重放環境中進行。此環境儲存了預先收集的推理軌跡和探測訊號，允許代理在發現階段評估建議的控制器，而無需進行新的、昂貴的LLM呼叫。
控制空間（Control Space）：該框架在測試時縮放（TTS）的「寬度-深度」控制空間內操作。「寬度」指平行解決方案路徑的數量，「深度」指每條路徑的探索程度。發現的控制器動態優化這些維度。
Beta參數化與追蹤回饋（Beta Parameterization & Trace Feedback）：系統使用beta參數化將外部標量單調映射到內部超參數，將外部調整簡化為一維掃描。細粒度的執行追蹤回饋提供了控制器如何隨時間分配計算的詳細資訊，使代理能夠診斷諸如過度修剪等特定問題。
控制器合成（Controller Synthesis）：AutoTTS 將TTS設計表述為一個控制器合成問題，其中代理生成Python程式碼，定義LLM何時應分支、繼續、探測、修剪或停止其推理過程的規則。

LLM推理成本將大幅降低，使更多企業能夠負擔得起部署先進的AI模型。

AutoTTS將代幣消耗降低了近70%，並自動化了優化過程，這將顯著降低LLM在生產環境中的營運支出。

未來LLM的推理策略設計將從人工調整轉向高度自動化和AI驅動。

AutoTTS證明了AI代理可以有效發現並優化推理策略，超越了人類手動設計的啟發式規則，從而改變了LLM部署的範式。

測試時縮放（TTS）技術將成為優化小型語言模型（SLM）性能的關鍵，使其在複雜任務上與大型模型競爭。

TTS允許模型在推理時分配更多計算資源以提高性能，這對於資源較少但需要高效率的SLM來說，是提高其解決複雜問題能力的有效途徑。

2026-05-11

YouTube頻道發布影片，討論名為「LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling」的AutoTTS論文，介紹其自動化測試時縮放策略。

2026-05-12

VentureBeat等媒體報導AutoTTS框架，強調其透過讓AI自動設計策略，成功將LLM推理的代幣消耗降低近70%。

2026-05-28

多家新聞媒體進一步報導AutoTTS，強調其在不犧牲準確度的情況下，顯著降低LLM營運成本的潛力。

AutoTTS 自動化 LLM 推理策略，成功降低 69.5% 代幣消耗