Using hostile auditor prompts to reduce AI hallucinations

•「敵對審計提示詞」屬於大型語言模型（LLM）自我校正或自我驗證技術的範疇，這些技術可分為內部（模型生成回饋）和外部（外部工具或檢索增強生成RAG）兩種形式。
•除了提示詞設計外，模型參數如「溫度值」（temperature）也顯著影響自我校正的有效性；較低的溫度值（例如0.3-0.5，甚至為零）能使模型輸出更為保守，進而提高事實一致性並減少幻覺。
•此類提示詞技術可與其他提示工程方法結合使用，例如「思維鏈」（Chain-of-Thought, CoT）提示或檢索增強生成（RAG），以進一步提升回應的準確性並有效降低幻覺的發生率。
•研究顯示，包括自我驗證在內的策略性提示工程，能將大型語言模型的幻覺發生率降低高達36%。
•這種方法利用了大型語言模型內在的自我修正能力，促使模型在最終輸出前質疑並審查自身的邏輯與資訊，而非僅依賴統計模式生成內容。

大型語言模型（LLM）基於統計和機率模式生成文本，而非主要依賴驗證過的真實資訊，這導致了幻覺的產生，即模型自信地生成錯誤或虛構的內容。
自我校正機制利用模型內在的能力，在不依賴外部知識的情況下修正其答案，其成功關鍵在於適當的溫度設定（例如零溫度）和「公平」的提示詞。
「思維鏈」（Chain-of-Thought, CoT）提示明確指示模型進行逐步推理，有助於增強內部一致性並減少邏輯漏洞，從而降低幻覺。
檢索增強生成（RAG）系統結合了資訊檢索與自我檢查，使模型能夠根據外部證據來源來質疑並核對其自身的陳述。
SCoRe（Self-Correction via Multi-Turn Reinforcement Learning）是一種透過多輪強化學習來增強自我校正能力的方法，它利用模型自身生成的數據進行訓練，使其能從錯誤中學習，進而提升推理和程式碼生成任務的表現。
內部驗證技術包括「內部狀態解碼」和「模型輸出一致性檢查」，這些方法允許模型在生成過程中進行自我評估和調整。

AI應用程式的可靠性將大幅提升。

透過敵對審計提示詞等自我校正技術的普及，AI模型將能更有效地識別並減少幻覺，使其在關鍵業務和專業領域的應用更值得信賴。

AI開發的重點將從模型規模轉向推理和自我意識。

隨著數據增長接近瓶頸，未來的AI研究將更側重於提升模型的自我改進、推理驗證和內在自我意識能力，以實現更深層次的智慧。

企業內部稽核將加速轉型為AI審計。

大型語言模型在稽核流程中的應用，特別是透過自我驗證和自動化回饋機制，將使稽核工作流更具可重現性與效率，從而提升稽核深度和準確性。

2018

OpenAI 推出 GPT-1，開啟大型語言模型「預訓練」時代。

2022-11

OpenAI 發布 ChatGPT，將大型語言模型帶入主流應用，同時凸顯了幻覺問題。

2023-02

論文《審計大型語言模型：三層方法》探討了大型語言模型的審計挑戰與方法。

2024-05

論文《自動校正大型語言模型：多樣化自動校正策略概覽》全面回顧了利用自動化回饋校正LLM的進展。

2024-09

SCoRe（Self-Correction via Multi-Turn Reinforcement Learning）研究論文發表，提出透過多輪強化學習增強LLM自我校正能力。

2025-02

論文《大型語言模型具有內在自我校正能力》指出零溫度和公平提示詞是成功實現內在自我校正的關鍵因素。

利用敵對審計提示詞減少 AI 幻覺