Gemini Pro 洩漏思考鏈並無限迴圈

🔑 增強重點摘要

• •此類現象被歸類為「提示注入（Prompt Injection）」的一種變體，特別是針對具有隱藏思維鏈（Chain-of-Thought）架構的推理模型，當模型在處理複雜的 RAG 檢索時，若上下文視窗過載或指令衝突，容易導致系統提示（System Prompt）與模型內部狀態發生洩漏。
• •研究人員指出，Gemini 系列模型採用的「多模態思維鏈」架構在處理特定格式的 RAG 輸出時，若未正確隔離系統指令與使用者資料，會觸發模型進入自我修正（Self-Correction）迴圈，導致模型試圖在輸出中解釋其自身的推理過程。
• •此事件凸顯了大型語言模型在「安全護欄（Safety Guardrails）」與「推理能力」之間的權衡問題，當模型被要求執行嚴格的格式限制（如 Markdown 規則）時，若觸發了內部的安全檢查機制，模型可能會因為無法滿足所有限制而陷入邏輯死鎖。

🛠️ 技術深入

• •模型架構：Gemini Pro 採用混合專家模型（MoE）架構，並結合了針對長上下文（Long-context）優化的注意力機制，這使得其在處理 RAG 任務時能維持較大的記憶空間，但也增加了系統提示被意外納入生成序列的風險。
• •推理機制：該模型在內部執行時會生成隱藏的思維鏈（CoT），這些思維鏈通常包含對系統指令的解讀與執行狀態檢查，當模型遇到無法解析的輸入時，會嘗試輸出這些內部狀態以進行自我除錯。
• •觸發條件：當 RAG 檢索到的資料包含與系統提示相似的語法結構（如 'Check'、'Instructions' 等關鍵字）時，模型會誤將檢索內容識別為系統指令的一部分，進而引發指令衝突與無限迴圈。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線