COCONUT 潛在推理多為課程訓練所致

🔑 增強重點摘要

• •COCONUT 論文於 2024 年 12 月發布於 arXiv，提出 Chain of Continuous Thought 範式，讓 LLM 在連續隱藏狀態中進行推理，而非解碼成語言 token[6]。
• •COCONUT 在 ProsQA 資料集上達到 96.6% 準確率，使用僅 3 個 latent token 即可接近完美表現，遠超傳統 CoT 的 76.7%[4]。
• •訓練過程分階段：初期使用語言步驟，後期以最終隱藏狀態替換，每步 latent token 數由超參數 c 控制，從 1 遞增以提升容量[4]。
• •獨立重現顯示 COCONUT 雖 token 高效，但計算效率低，前訓練成本隨思考 token 指數上升，且適應新輸入格式需長時間[3]。

🛠️ 技術深入

• •COCONUT 使用 LLM 最後隱藏狀態作為「continuous thought」，直接餵入下一輸入嵌入，避免解碼成詞彙 token[1][2][6]。
• •推理模式支援 BFS 策略，連續思想可同時編碼多條替代推理路徑，提升規劃與回溯任務表現[1][2]。
• •訓練分多階段課程：先語言模式，後以 c 個 latent token 表示每步（c 從 1 遞增），ground truth 為下一語言步驟[4]。
• •推論時模型自主決定終止 latent 推理，或填充至固定長度，減少 token 生成以提升效率[2]。
• •ProsQA 資料集專為測試 DAG 規劃與回溯設計，驗證 COCONUT 在複雜推理任務優勢[1][4]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線