Google introduces 'faithful uncertainty' to reduce LLM hallucinations

•該技術與「忠實信心校準」（faithful confidence calibration）和「後設認知」（metacognition）密切相關，旨在使大型語言模型 (LLM) 的語言不確定性表達與其內在信心保持一致。
•Google 研究人員參與的 MetaFaith 方法，作為一種基於提示的校準方法，能顯著提升忠實度高達61%，並在人類判斷中獲得83%的勝率，超越原始生成結果。
•現有大型語言模型在忠實表達不確定性方面普遍表現不佳，且標準提示或基於事實的校準等現有干預措施不足，甚至可能損害忠實校準。
•「效用稅」問題也被稱為「幻覺稅」，指的是企業為正確和幻覺輸出支付相同費用，而代理工作流程會放大這種成本，凸顯了減少幻覺的經濟重要性。
•不確定性量化 (UQ) 是美國情報高級研究計畫局 (IARPA) CEDAR 專案的關鍵組成部分，旨在訓練模型在知識不足時能適當回應，例如表示「我不知道」，以轉向更值得信賴的 AI 系統。

該技術是一種後設認知方法，旨在使大型語言模型能夠反思其自身的認知過程。
MetaFaith，一種相關的基於提示的校準方法，利用「主提示」引導生成式大型語言模型（例如 GPT-4o、Claude-3.7-Sonnet）產生實施特定後設認知策略的校準提示。
這些策略使模型能夠自我反思其內在信心、流暢地傳達這種內部狀態，並將不確定性作為其答案的核心部分。
MetaFaith 是一種黑箱方法，無需昂貴的訓練或存取模型權重即可調節語言表達的信心。
不確定性量化 (UQ) 方法包括探索一致性軌跡（優於熵）、知識更新、記憶增強型大型語言模型以及使用世界模型的第二系統思維。
信心分數可以與模型生成詞元（token）的機率（對數機率）相關聯。
「忠實回應不確定性」可根據模型對其斷言的內在信心與傳達這些斷言的果斷性之間的差距來形式化，並懲罰過度或不足的保留。
其他減少幻覺的技術包括進階提示方法（如思維鏈、少樣本學習）、檢索增強生成 (RAG)、使用高品質數據（包括明確的「我不知道」範例）進行微調，以及實施防護措施。

大型語言模型將在關鍵應用中變得更加可靠。

透過明確傳達不確定性，使用者可以更好地信任模型輸出，並在金融、法律和醫療保健等領域了解何時需要人工監督。

自主 AI 代理將展現更複雜和安全的決策能力。

當內部知識不足時，動態觸發外部工具的能力，加上後設認知的自我意識，將使代理工作流程更加穩健且不易出錯。

大型語言模型後設認知能力的發展將帶來更像人類的推理和自我修正。

後設認知使模型能夠監控自身的認知過程，類似於人類反思其思維方式，這有助於減少偏見並改善資訊來源的整理以獲得可靠答案。

2011-XX

Google 成立 Google Brain，為大型語言模型 (LLM) 的發展奠定基礎。

2014-XX

Ilya Sutskever（後來成為 OpenAI 首席科學家）創建了 SEQ2SEQ，一種前 Transformer 模型。

2017-XX

Google 透過「Attention Is All You Need」論文開發了 Transformer 架構。

2018-XX

Google 發布 BERT 模型。

2023-XX

Google 發布 Bard 大型語言模型。

2025-11

Google Research 參與的 MetaFaith 論文發表，引入了一種基於提示的忠實不確定性表達校準方法。

Google 引入「忠實不確定性」技術以減少 LLM 幻覺