北大王選所彭宇新團隊：讓多模態大模型學會「看懂物種關係」丨CVPR 2026

🔑 增強重點摘要

• •TARA 對齊大型多模態模型（LMMs）的中間表徵與預訓練生物基礎模型（BFMs）的視覺和文字特徵，從而注入分類學知識[1]。
• •定性分析顯示 TARA 不僅提升細粒度預測準確性，還修正整個層級標籤路徑的錯誤，提高階層一致性[1]。
• •訓練效率評估顯示 TARA 在 iNat21-Plant 資料集上，每 200 訓練步驟即展現更快收斂，早於基準線超越基線性能[1]。
• •TARA 程式碼已公開於 GitHub，供研究社群重現實驗[1][2]。

🛠️ 技術深入

• •TARA 框架明確對齊 LMMs（如 Qwen3-VL-2B）的中間表徵與 BFMs 的視覺和文字特徵，注入分類學知識以支援階層視覺識別（HVR）[1]。
• •相較基線，TARA 在 No-Thinking RFT 階段僅增加最小開銷，但顯著加速收斂，如在 604 訓練步驟內早早超越性能[1]。
• •定性結果（圖 4）證實 TARA 改善整個階層標籤路徑的錯誤修正，而非僅限葉節點[1]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線