DST：思維樹的即插即用高效預測器
DST 引入輕量級即插即用預測器，作為監督式啟發式引導 LLM 中的思維樹（ToT）搜尋。它實現動態、情境感知的剪枝，在簡單步驟近似貪婪效率，在複雜情況自適應擴展。評估顯示在推理基準上準確率與基準相當或優越，計算量減少 26-75%。
Search
Tag: #pruning5 results
壓縮順序：先剪枝還是先量化？
這篇 arXiv 論文探討聯合模型壓縮中剪枝與量化的順序是否重要。它提出漸進強度假說，主張較弱擾動應先於較強者，並提供理論保證。在語言與視覺模型上的廣泛實驗證實其適用於多階段與混合精度設定。
ToolTree 提升 LLM 工具規劃效率
ToolTree 是 LLM 代理工具規劃的新蒙地卡羅樹搜索範式。利用雙重反饋 LLM 評估與雙向剪枝，自適應探索工具軌跡。在 4 個開放/封閉集基準上平均提升約 10%。
🔬
探索用於模型剪枝與蒸餾的 J-Space-Aware 技術
一項社群討論探討了將 Anthropic 的「J-space」研究應用於模型壓縮的可能性。該提案建議使用基於 Jacobian 的估計器來識別具影響力的激活值，以實現更有效的剪枝與蒸餾。
GHOST Prunes Mamba2 Hidden States Efficiently
GHOST applies structured pruning to Mamba2 using forward-pass controllability and observability metrics, avoiding backpropagation. Achieves 50% state reduction with ~1 PPL rise on WikiText-2 across 130M-2.7B models. Code available anonymously.