Causal Analysis Reveals Causes of MLLM Modality Hallucinations

•多模態大型語言模型（MLLM）的幻覺現象可細分為「初始幻覺」和「滾雪球幻覺」兩大類，前者源於模型資訊不足，後者則是在先前錯誤基礎上持續生成錯誤資訊，顯示模型傾向於建立在自身錯誤假設之上。
•除了注意力頭部的不平衡，MLLM幻覺的深層技術成因還包括「注意力崩潰」（attention collapse）和「位置資訊衰減」（positional information decay），以及模型在生成長序列時對「總結性詞元」（summary token）的「過度信賴」（over-trust）。
•儘管大型語言模型（LLM）的整體幻覺率已從2021年的38%顯著下降至2026年的8.2%，但多模態模型在數學運算、資料分析和法律查詢等需要精確輸出的複雜推理任務中，幻覺率仍居高不下，例如法律查詢幻覺率介於58%至88%。
•研究指出，現有模型訓練和評估機制常獎勵模型「猜測」而非「承認不確定性」，導致模型在缺乏可靠資訊時仍自信地給出錯誤答案，這是幻覺持續存在的重要原因之一。

📊 競品分析▸ Show

特徵/方法	MACI (本文)	FarSight	OPERA	OPA-DPO
核心機制	識別並有條件抑制「幻覺驅動型」注意力頭部，以優先考慮視覺證據。	透過調整因果遮罩（causal mask）優化詞元傳播，減少異常值詞元（outlier tokens）的注意力干擾。	在推理階段透過「過度信賴懲罰」和「回溯重分配」機制，緩解模型對「總結性詞元」的過度信賴。	基於直接偏好優化（DPO），透過確保訓練數據與初始策略的一致性來解決幻覺問題。
幻覺成因	注意力頭部不平衡，優先考慮文本而非視覺。	注意力崩潰和位置資訊衰減，以及詞元間互動不足。	模型生成長回答時的「過度信賴」（Partial Over-Trust）現象。	訓練數據與初始策略不一致導致的幻覺。
實施階段	推理階段干預。	解碼策略（即推理階段）的即插即用（plug-and-play）方法。	推理階段。	訓練階段（DPO訓練）。
額外成本	未明確提及，但暗示為推理時的干預。	即插即用，僅調整因果遮罩，無需額外訓練數據或外部知識。	無需額外訓練數據或外部知識。	透過構造偏好數據對進行DPO訓練，可能需要專家反饋或導師模型。
基準測試	MMMC基準測試。	圖像和影片基準測試。	未明確提及特定基準，但旨在降低幻覺率。	LLaVA-1.5-7B 和 13B 模型微調，在多個指標上實現SOTA效果。

注意力頭部分析: MACI 的核心在於識別並區分多模態模型中的「幻覺驅動型」與「幻覺抵抗型」注意力頭部。這可能涉及對模型內部注意力權重分佈進行統計分析或因果歸因方法，以確定哪些頭部傾向於產生與視覺內容不符的文本輸出。
模態衝突檢測: 該方法需開發一套機制，以在推理過程中實時檢測多模態輸入（文本與視覺）之間的衝突。例如，當模型生成的文本描述與輸入圖像的視覺證據存在顯著不一致時，即觸發模態衝突檢測。
有條件抑制: 一旦檢測到模態衝突，MACI 會「有條件地抑制」幻覺驅動型頭部。這可能透過動態調整這些頭部的注意力權重（例如降低其權重），或採用門控機制（gating mechanism）暫時禁用它們，以減少其對模型輸出決策的影響。
目標: 透過對注意力機制的精準干預，MACI旨在糾正模型對錯誤文本的優先級，增強其對視覺證據的忠實性，從而提高多模態模型的整體準確性。具體的實施細節（如如何量化「不平衡」或「抑制」的具體演算法）在提供的摘要中未詳述。

多模態大型語言模型將在高度敏感領域中實現更廣泛且可靠的應用。

透過因果分析和精準干預幻覺成因，模型將能提供更準確、與事實一致的資訊，降低在醫療、法律或自動駕駛等高風險場景中的誤報風險。

未來的MLLM評估標準將從單純追求準確率轉向更重視「誠實性」和「不確定性表達」。

當前研究揭示模型因評估機制鼓勵猜測而產生幻覺，新的評估方法將引導模型在不確定時承認不足，而非自信地提供錯誤資訊。

MLLM的幻覺問題將從根本性缺陷轉變為可管理的技術挑戰，促使更穩健、可解釋的AI系統發展。

隨著對幻覺成因的深入理解及多樣化緩解策略的出現，研究人員能夠系統性地解決問題，提升模型的透明度和可靠性。

2017

Transformer架構問世，引入自注意力機制，為LLM和MLLM發展奠定基礎。

2020

GPT-3發布，展示強大語言生成能力，同時「幻覺」問題成為關鍵挑戰。

2023-12

MMMU基準測試發布，旨在全面評估多模態AI模型在大學水平專家任務上的推理能力，揭示現有模型在複雜任務中的幻覺問題。

2024-06

OPERA方法（CVPR 2024）提出透過「過度信賴懲罰」緩解多模態大模型幻覺，指出「過度信賴」是幻覺的重要成因。

2025-05

FarSight方法（arXiv）提出透過調整因果遮罩來緩解MLLM幻覺，並分析「注意力崩潰」和「位置資訊衰減」為主要原因。

2025-06

OPA-DPO算法（CVPR 2025 Oral）提出基於直接偏好優化，透過確保訓練數據與初始策略一致性，高效解決多模態大模型幻覺。

因果分析揭示 MLLM 模態幻覺成因