用 100 次 GRPO 步驟提升結構化輸出

有什麼變化

實驗使用一個 3.5 億參數的語言模型。

為什麼重要

這項實驗顯示，基於強化學習的微調可能不需要大型模型或長時間訓練，就能有效改善格式遵循能力。這有助於降低建立結構化生成專用模型的成本。

下一步行動

在小型 Hugging Face 模型檢查點上重現 100 步 GRPO 實驗，並比較微調前後的結構化格式有效率。