ReElicit: Optimizing System Prompts via Dynamic Bayesian Representations

•ReElicit 專門解決了在僅有總體指標回饋（而非細粒度的逐例標籤、錯誤或評論）的情況下調整系統提示詞的挑戰，這在實際的 AI 系統部署中是一個常見的限制。
•該框架利用大型語言模型 (LLM) 不僅生成提示詞，還能從提示詞-分數歷史中動態地提取並精煉語義特徵空間，使表示法能夠隨著新的評估結果而調整。
•ReElicit 的方法包括 LLM 根據任務描述、先前評估的提示詞和標量分數，提取一個緊湊且可解釋的特徵空間，然後貝葉斯優化獲取函數選擇目標特徵向量，再由 LLM 將其轉化為自然語言系統提示詞。
•ReElicit 的理論分析探討了「可達性問題」，即在提取出的低維表示空間中接近最佳的點，何時能對應到原始文本空間中的良好提示詞。
•ReElicit 由 Meta 的研究人員開發。

問題設定： 將總體回饋系統提示詞調整視為離散、可變長度文本上的樣本受限黑盒優化問題。
透過提取進行嵌入 (Embedding by Elicitation)： LLM 從提示詞-分數歷史中提取語義特徵空間。這表示 LLM 根據任務描述、先前評估的提示詞和標量分數，將提示詞映射到一個緊湊且可解釋的特徵空間。
高斯過程代理模型： 利用機率高斯過程 (GP) 代理模型。 GP 是一種非參數機器學習方法，用於回歸，提供帶有置信區間的機率預測，有助於估計不確定性。它能模擬候選提示詞的性能分佈。
獲取函數： 獲取函數選擇目標特徵向量。貝葉斯優化通常使用如預期改進 (Expected Improvement, EI) 或上限置信區間 (Upper Confidence Bound, UCB) 等獲取函數來平衡探索與利用。類似的框架 BO-LLM 也使用 UCB。
LLM 實現與精煉： LLM 隨後將這些目標特徵向量實現並精煉為可部署的自然語言系統提示詞。
自適應表示： 隨著新的評估結果到來，特徵空間會重新提取，使表示法能夠適應觀察到的提示詞-分數歷史。
黑盒優化： ReElicit 在黑盒環境中運行，這意味著它在優化提示詞時無需訪問底層 LLM 的內部參數或梯度，僅依賴於輸入-輸出交互和總體回饋。這對於透過 API 訪問的專有 LLM 的優化至關重要。

大型語言模型 (LLM) 將越來越多地作為優化任務的自適應語義表示構建器，而不僅僅是提示詞生成器。

ReElicit 證明了 LLM 可以從回饋中動態地提取和精煉可解釋的特徵空間，從而實現對自然語言工件更高效和自適應的優化。

即使在有限的總體回饋下，AI 系統提示詞的優化也將變得更加穩健和高效。

ReElicit 在僅有標量回饋的情況下成功優化提示詞，並在有限的評估預算下超越基準方法，這為在實際應用中缺乏細粒度回饋時，提供了一種更實用且具成本效益的提示詞調整途徑。

「透過提取進行嵌入」技術可以推廣到其他涉及複雜、高維輸入的黑盒優化問題。

透過使用 LLM 提取緊湊、可解釋的特徵空間，這種方法提供了一種處理離散、可變長度文本黑盒優化挑戰的方式，可能適用於提示詞調整以外的其他領域。

ReElicit：透過動態貝葉斯表示法優化系統提示詞