Amazon Nova 強化微調解析

🔑 增強重點摘要

• •Amazon Bedrock 上的 RFT 在基礎模型上實現了平均 66% 的準確度提升，使較小的模型（如 Nova 2 Lite）能夠達到較大模型的性能水準[3]
• •RFT 支援使用 LLM 作為評判者的獎勵函數，能夠評估語義等價性和連貫性等難以程式化定義的複雜特性，無需大規模人工標註[1]
• •Nova Forge 作為付費訂閱服務提供進階功能，包括多輪對話支援、超過 15 分鐘的獎勵函數執行時間，以及自訂訓練配方修改，專為企業客戶設計[1]
• •Amazon Bedrock 的 RFT 完全託管端到端的強化學習流程，開發者無需建構 RL 管道或管理 GPU，僅需指定獎勵函數和撰寫提示[3]
• •RFT 在 Amazon Bedrock 上的最大提示限制為 20,000 個，而標準 RFT 的獎勵函數執行時間限制為 15 分鐘[1][6]

🛠️ 技術深入

• •獎勵函數可透過 AWS Lambda 執行以計算客觀分數，或透過主控台選擇模型作為評判者，主控台會自動將準則轉換為 Lambda 函數[6]
• •RFT 的限制包括：Lambda 逾時 15 分鐘、僅支援單輪對話、需要足夠的資料多樣性（稀疏獎勵時表現不佳，正例少於 5%）、計算成本高於監督微調、不支援多模態資料[1]
• •Amazon Nova 2.0 相比 1.0 在推理能力、多語言支援、編碼和工具使用等複雜任務上有改進，並具有更好的長文本處理能力[2]
• •監督微調 (SFT) 需要數千到數萬個示範，資料品質、一致性和多樣性比原始數量更重要；可混合 Nova 預訓練資料（10%-75%）以平衡任務特定性能和通用性能[4][5]
• •RFT 適用於複雜分析任務、數學問題解決和多步邏輯推導；簡單事實查詢應使用低或無推理模式以優化成本和延遲[1]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線