修復目標導向世界模型中的指令洩漏問題

💡揭露AI模型常見的「指令洩漏」陷阱，教你如何確保模型具備真實的空間感知能力而非僅是轉錄指令。

⚡ 30-Second TL;DR

有什麼變化

識別出目標導向模型中常見的「指令洩漏」現象，導致模型誤將指令轉錄視為感知能力。

為什麼重要

此研究揭示了當前具身智能模型在評估基準上的嚴重缺陷，提醒開發者需重新審視模型是否真的具備感知能力，還是僅在進行指令轉錄。

下一步行動

審查你的目標導向模型架構，確保目標指令僅用於規劃成本，而非直接輸入到動態預測路徑中。

誰應關注：Researchers & Academics

AI-generated analysis for this event.

•研究指出指令洩漏（Instruction Leakage）本質上是一種捷徑學習（Shortcut Learning）現象，模型傾向於利用指令中的語義冗餘而非視覺特徵。
•該研究引入了「解耦目標表徵」（Decoupled Goal Representation）架構，將目標狀態從潛在空間（Latent Space）的動態預測中完全隔離。
•實驗數據顯示，在移除指令洩漏後，模型在處理遮擋物（Occlusion）與動態環境變更時的泛化能力提升了約 25%。
•研究團隊開發了一種名為「路徑監督」（Path Supervision）的訓練技術，強制模型在推理過程中必須經過視覺編碼器，而非直接跳轉至解碼器。
•此項發現對具身智能（Embodied AI）領域具有重大影響，特別是在導航與操作任務中，解決了模型在缺乏明確指令時性能崩潰的問題。

核心架構改進：將傳統的端到端（End-to-End）目標導向模型拆分為感知模組（Perception Module）與規劃模組（Planning Module）。
讀取路徑監督（Path Supervision）：在訓練損失函數中加入路徑約束項，通過互信息（Mutual Information）最小化，強制模型降低對指令輸入的依賴。
目標解耦機制：將目標狀態（Goal State）轉換為與視覺輸入空間對齊的向量，而非直接作為動態預測的輸入條件。
訓練策略：採用兩階段訓練法，第一階段預訓練感知器，第二階段在凍結感知器的情況下訓練規劃器，以徹底切斷指令洩漏路徑。