New Framework Improves Understanding of Emerging Multimodal Memes

•「Query Retrieve Conclude」框架旨在解決現有模型因依賴預訓練模型中固定參數知識而導致資訊不完整、過時或無法用於新興迷因的挑戰，透過檢索即時網路證據來彌補這些不足。
•該框架的零樣本能力對於社群媒體內容審核具有重大意義，因為傳統的視覺語言模型（VLM）在零樣本仇恨迷因檢測方面表現出脆弱性，難以進行準確分類。
•QRC 框架引入的基準測試數據集涵蓋 2024 年至 2026 年的迷因，並包含外部背景知識註釋，這對於評估 AI 理解迷因的深層語境至關重要。
•此框架透過識別缺失的背景知識、檢索開放網路證據並合成基於證據的背景知識，來實現迷因的理解與偵測，這與傳統的檢索增強生成（RAG）系統有異曲同工之妙，後者透過外部知識庫優化大型語言模型的輸出。

📊 競品分析▸ Show

特性/框架	Query Retrieve Conclude (QRC)	MIND (Multi-agent Framework)	PrismAgent (Multi-agent Framework)
核心方法	零樣本框架，識別缺失知識，檢索開放網路證據，合成背景知識。	多代理框架，檢索相似迷因，雙向洞察推導，多代理辯論機制。	零樣本、多代理、可解釋框架，將任務概念化為刑事案件調查，設有分析、調查、起訴、判斷代理。
知識來源	開放網路證據檢索，提供即時背景知識。	從未註釋的參考集中檢索相似迷因以提供上下文資訊。	從未註釋的數據集中檢索支持證據。
主要目標	迷因理解與偵測，解決動態新興迷因的解釋挑戰。	零樣本有害迷因偵測，不依賴註釋數據。	零樣本有害迷因偵測，強調可解釋性與多階段推理鏈。
性能提升	在三個數據集與五項偵測任務中優於現有零樣本基準模型。	在三個迷因數據集上優於現有零樣本方法，並展現強大的泛化能力。	在三個公共數據集上顯著優於現有零樣本偵測方法。
可解釋性	透過合成證據基礎的背景知識來提供理解。	透過多代理辯論機制確保穩健的決策。	內建多階段推理鏈，每個中間步驟都有明確解釋。

QRC 框架是一個零樣本（zero-shot）模型，旨在識別迷因解釋中缺失的背景知識。
該框架透過檢索開放網路證據來為新興內容提供紮實的背景知識基礎，這與檢索增強生成（RAG）系統的原理相似，RAG 透過從外部知識庫中檢索相關資訊來增強大型語言模型（LLM）的輸出。
迷因理解與偵測任務涉及處理多模態內容，意味著框架需要整合視覺和文本資訊。
框架的「Query」（查詢）階段可能涉及複雜的意圖理解和分解，類似於 ReDI 框架中將複雜查詢分解為目標子查詢並豐富其語義解釋的方法。
「Retrieve」（檢索）階段利用即時網路證據，這可能涉及將數據轉換為數值表示（嵌入）並儲存在向量數據庫中，以便進行語義搜索。
「Conclude」（總結）階段負責綜合檢索到的證據，以生成對迷因的解釋或進行偵測。
該框架使用了一個專門策劃的基準測試數據集，包含 2024 年至 2026 年的迷因，並附有外部背景知識註釋，這對於評估模型在新興迷因上的表現至關重要。

顯著提升社群媒體內容審核能力

QRC 框架能零樣本理解動態新興迷因，將大幅增強 AI 偵測有害內容的能力，解決現有系統面臨的關鍵挑戰。

加速 AI 對複雜人類溝通的理解演進

迷因是高度語境化、文化細膩且快速演變的人類表達形式，QRC 有效解釋迷因的能力將推動 AI 理解超越字面意義的界限。

強化動態知識領域的即時資訊檢索與合成

該框架查詢、檢索和總結即時網路證據的核心機制，可推廣應用於其他需要最新語境理解的領域，而不僅限於迷因。

2021-11

論文《AI 無法理解迷因：OCR 和面部情感實驗》發表，強調 AI 理解迷因的挑戰。

2022-06

TAME 框架被提出，用於零樣本仇恨迷因偵測，旨在提升現有分類模型的性能。

2025-01

《詢問、獲取、理解：基於多模態代理的迷因社會濫用偵測框架》論文發表，提出透過提問生成視覺描述。

2025-07

MIND 框架在 arXiv 上發布，作為一個多代理零樣本有害迷因偵測框架。

2026-03

PrismAgent 框架被提出，作為一個零樣本、多代理、可解釋的有害迷因偵測框架。

2026-05

「Query-Retrieve-Conclude」框架在 OpenReview 上發表，用於理解透過開放世界知識獲取而演變的迷因。

全新框架提升對新興多模態迷因的理解能力