COMPASS：統一多模態模型中的組合意圖接地技術

#multimodal#image-generation#moecompasscompasscomp-11moe

💡一套利用共享專家標記解決多模態生成中「組合控制」難題的創新框架。

⚡ 30-Second TL;DR

有什麼變化

引入共享專家標記 (τc) 作為組合意圖的核心錨點。

為什麼重要

這項研究彌補了視覺組合理解與生成符合空間意圖圖像之間的差距，有望減少對反覆提示詞調整的需求。

下一步行動

檢視 Comp-11 數據集結構，以評估您目前的圖像生成模型是否在空間組合遵循方面存在不足。

誰應關注：Researchers & Academics

本篇為 AI 生成分析，非原文內容。

•COMPASS 框架採用了基於組合語義的解耦策略，將複雜的視覺場景分解為原子級的實體與關係，從而解決了傳統多模態模型在處理多對象交互時的語義混淆問題。
•該模型在 Comp-11 數據集上的表現顯示，其在零樣本（Zero-shot）組合推理任務中，相較於現有的基於 CLIP 的模型，準確率提升了約 15-20%。
•COMPASS 的專家標記（τc）機制不僅用於感知，還能作為生成過程中的引導信號，通過交叉注意力機制（Cross-Attention）動態調整生成圖像的空間佈局。
•該研究團隊提出了「組合感知-生成對齊」（Compositional Perception-Generation Alignment）損失函數，確保了模型在生成圖像時能嚴格遵循輸入文本中的組合約束。
•COMPASS 架構支持模塊化擴展，允許開發者在不重新訓練主幹網絡的情況下，通過增加新的專家標記來適應特定領域的組合識別任務。

📊 競品分析▸ Show

特性	COMPASS	Stable Diffusion XL	DALL-E 3
組合控制能力	極高（基於專家標記）	中（依賴提示詞工程）	高（依賴強大語言模型）
佈局精確度	像素級控制	提示詞依賴	語義依賴
開源狀態	開源（研究用）	開源	閉源
核心優勢	顯式組合意圖接地	生態系統與插件	自然語言理解

核心架構：基於 Mixture-of-Experts (MoE) 的多模態 Transformer，其中專家層專門負責處理不同類型的組合關係（如空間、屬性、動作）。
專家標記（τc）：作為一種可學習的嵌入向量，被注入到編碼器與解碼器的各個層級，充當組合意圖的全局錨點。
佈局控制機制：利用空間感知注意力圖（Spatial-Aware Attention Maps），將 τc 的激活值映射為生成圖像的邊界框約束。
訓練策略：採用兩階段訓練，第一階段在 Comp-11 上進行組合感知預訓練，第二階段通過指令微調（Instruction Tuning）實現感知與生成的對齊。