Synthetic document finetuning for instilling positive traits

•Gemini 3 Flash 於 2025 年 12 月 17 日發布，不僅以其速度和成本效益著稱，還在代理編碼任務的 SWE-bench Verified 評分中達到 78%，超越了 Gemini 3 Pro，並具備 1M 的上下文窗口和多模態處理能力，涵蓋文本、代碼、圖像、音頻、視頻和 PDF。
•合成數據生成已成為大型語言模型（LLM）訓練、微調和評估的關鍵，其優勢在於比人工標註更快、更便宜，並能提供更高質量和多樣性的數據，對於 LLM 紅隊測試至關重要。
•Google DeepMind 的研究發現，對於 Gemini 模型而言，其大部分安全相關特性主要源於預訓練與監督式微調（SFT）的結合，而非強化學習等其他訓練階段，這表明 SFT 是干預模型安全和行為的高槓桿點。
•大型語言模型在分佈外（OOD）情境下的穩健性是一個重要挑戰，分佈轉移（如協變量、概念和子群體轉移）可能導致性能下降；為此，研究人員正探索分佈穩健直接偏好優化（DRDPO）和穩健拒絕訓練等技術，以增強模型對抗各種對抗性攻擊的能力。

該方法採用兩階段流程：首先是「中期訓練」（midtraining），透過合成文件進行預訓練；其次是「對話式監督式微調」（conversational SFT）。
中期訓練的數據包括 Reddit 討論串、部落格文章、電子郵件和研究論文等預訓練風格的合成文件，這些文件描述了 Gemini 展現目標特質的世界，且非聊天格式。
對話式 SFT 數據的生成方式是，將「特質文件」的相關部分作為系統提示詞提供給 Gemini 3.1 Pro，並指示其在不誇大或不直接引用文件的情況下體現目標特質，訓練時會移除此系統提示詞。
此方法的最終目標是植入即使在高度分佈外（OOD）情境下也能指導模型行為的原則。
對於 Gemini 模型，其大部分安全相關特性主要歸因於預訓練和 SFT 的結合，而非強化學習（RL）等其他訓練階段。
合成數據生成方法包括從更強大的模型進行知識蒸餾（Distillation）或模型自身的自我改進（Self-improvement），其中 Self-Instruct 和 Evol-Instruct 等工作流程常用於指令微調。
Gemini 3 Flash 模型的上下文窗口為 1M 輸入 token / 64K 輸出 token。

AI 模型將能更精確地體現複雜且細緻的人類價值觀。

透過合成文件預訓練與對話式 SFT 的結合，模型能從原則而非僅是模式匹配中學習，從而實現更深層次的價值觀內化。

AI 系統在面對未知或分佈外（OOD）情境時的行為將更加可預測和穩健。

該方法旨在提升模型在 OOD 情境下的穩健性，減少意外或不安全的行為，這對於部署於真實世界的 AI 應用至關重要。

合成數據生成將成為 AI 模型對齊和安全訓練的關鍵技術。

由於合成數據在成本、速度和數據多樣性方面的優勢，以及其在對齊研究中的有效性，它將加速 AI 安全與倫理特性的發展。

2010

DeepMind 成立。

2014

DeepMind 被 Google 收購。

2023-04

DeepMind 與 Google AI 的 Google Brain 部門合併，成立 Google DeepMind。

2024-05

Google DeepMind 推出 Frontier Safety Framework。

2025-12-17

Gemini 3 Flash 預覽版發布。

2026-06-13

Google DeepMind 研究人員發布報告，指出 Gemini 模型的大部分安全相關特性源於預訓練和 SFT 的結合。

利用合成文件微調以植入正面特質