音視覺LLM忽略與視覺衝突的音頻

💡揭露AVLLM視覺偏差—多模態AI必修修復（18字）

⚡ 30-Second TL;DR

有什麼變化

AVLLM中間層編碼豐富音頻語義

為什麼重要

揭示AVLLM的基本模態偏差，挑戰統一多模態感知主張。推動訓練中改善音頻整合以平衡模態。

下一步行動

使用類似機制工具探測你的AVLLM中間層音頻抑制現象。

誰應關注：Researchers & Academics

AI-generated analysis for this event.

•研究指出該現象源於『模態競爭』（Modality Competition），在聯合訓練階段，視覺編碼器因參數規模或預訓練權重優勢，導致模型在注意力機制中對音頻特徵分配了極低的權重。
•實驗透過探針技術（Probing）發現，儘管模型在淺層編碼了音頻語義，但在跨模態融合層（Cross-modal Fusion Layers）中，音頻特徵被系統性地過濾或被視覺特徵的梯度主導。
•此類模型在處理『音視不一致』（Audio-Visual Incongruity）任務時，表現出與人類感知顯著不同的行為模式，顯示現有 AVLLM 缺乏對音頻作為獨立資訊源的魯棒性。

•模型架構採用典型的編碼器-解碼器（Encoder-Decoder）架構，其中音頻編碼器通常為凍結的 CLAP 或 Whisper，視覺編碼器為 CLIP-ViT。
•研究採用了『視覺衝突測試集』（Conflict-Visual Dataset），透過合成音頻與視覺內容不匹配的樣本，觀察模型在生成文字時的注意力圖（Attention Maps）。
•分析顯示，在深層 Transformer 塊中，交叉注意力（Cross-Attention）機制對視覺 Token 的查詢（Query）幾乎完全忽略了音頻 Token 的鍵值（Key-Value）對，導致音頻資訊在解碼階段丟失。

未來 AVLLM 將引入音頻優先的對齊損失函數（Audio-First Alignment Loss）。

為了解決模態競爭問題，研究人員將被迫在訓練階段強制模型在視覺衝突時優先考慮音頻輸入。

多模態評測基準將增加『音視衝突魯棒性』指標。

現有基準過於依賴音視一致的數據，無法反映模型在真實複雜環境下的感知能力。

AI 週報

閱讀本週精選 AI 大事摘要 →

同主題

探索 #modality-bias

同產品

更多關於 avllms

同來源

最新來自 ArXiv AI

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗