Improving ChatGPT context awareness for sensitive conversations

•OpenAI 引入了「基於規則的獎勵 (RBRs)」方法，將明確、簡單、逐步的規則整合到強化學習人類回饋 (RLHF) 流程中，以提升模型安全對齊，減少對大量人工回饋的依賴。
•此次安全更新特別針對精神健康問題（如精神病、躁狂）、自殘、自殺及對AI的情感依賴等敏感領域進行了強化。
•OpenAI 實施了即時路由系統，將被標記為敏感的對話（例如涉及急性情緒困擾的對話）導向更先進的 GPT-5 等推理模型，以進行更深層次的情境分析和安全處理。
•新增了「信任聯絡人」功能，允許成人用戶指定一位聯絡人，在偵測到潛在自殘風險時，經人工審核後發出通知，旨在提供額外的社會連結支持。
•透過調整「系統提示詞」來設定 AI 的整體行為、語氣和安全界限，這些提示詞在處理用戶輸入之前被賦予更高的優先級，以確保模型行為符合預期。

引入「基於規則的獎勵 (RBRs)」方法，將明確、簡單、逐步的規則整合到強化學習人類回饋 (RLHF) 流程中，以評估模型輸出是否符合安全標準，並與僅限於提供幫助的獎勵模型結合，用於近端策略優化 (PPO) 演算法。
採用內容安全分類器，透過掃描詞組與過往求助或自殘案例之間的統計共現性來偵測敏感內容，而非直接解讀人類意圖。
當安全分類器被觸發時，會啟動預設規則，包括優先處理生命保護內容、切換至同理或危機回應語氣，以及限制或重新導向任何可能被解釋為與身體傷害相關的指令。
透過調整「系統提示詞」來設定 AI 的整體行為、語氣和安全界限，這些提示詞在處理用戶輸入之前被賦予更高的優先級。
實施多層次監控機制，並利用如 DeBERTa 等模型檢查內容的一致性和事實準確性，以緩解偏見和毒性。
承認即使是良性資料集的微調，也可能廣泛移除模型的安全防護措施，並揭示潛在的不良行為。

AI 系統將更有效地識別和處理複雜的心理健康危機，而不僅限於直接的自殘或自殺意圖。

OpenAI 的更新明確擴展了對精神病、躁狂和情感依賴等心理健康問題的關注，並將敏感對話路由至更先進的模型進行深度分析。

未來 AI 模型的安全防護將更加依賴於結合自動化規則與人類審核的混合系統。

OpenAI 的 RBRs 與 RLHF 的結合，以及「信任聯絡人」功能中人工審核的引入，顯示了這種混合方法的有效性和趨勢。

用戶對 AI 模型行為的客製化能力將受到更嚴格的限制，以防止安全防護被繞過。

研究表明，即使是少量數據的微調也可能破壞模型的安全防護，這將促使開發者實施更嚴格的控制措施。

2015-12

OpenAI 成立，旨在以安全和道德為導向推進 AI 發展。

2019-02

OpenAI 發布 GPT-2 語言模型，展示了生成連貫文本的能力，同時引發了對潛在濫用的擔憂。

2020-06

OpenAI 推出 GPT-3 語言模型，以其生成連貫且具上下文相關性文本的能力廣受關注。

2022-11

ChatGPT 正式發布，將對話式 AI 帶入主流應用。

2023-03

OpenAI 推出 GPT-4，一個大型多模態模型，在多項專業和學術基準測試中展現出接近人類的表現。

2025-10

OpenAI 宣布強化 ChatGPT 在敏感對話中的回應，特別針對心理健康、自殘和情感依賴等領域。

提升 ChatGPT 在敏感對話中的情境感知能力