☁️AWS Machine Learning Blog•較早收集於 22m
掌握 Amazon Nova Forge 的超參數優化技巧
💡學習如何在不降低通用效能或浪費昂貴運算資源的情況下，微調 Amazon Nova Forge 模型。
⚡ 30-Second TL;DR
有什麼變化
平衡特定領域效能與模型的通用能力
為什麼重要
協助從業者降低訓練成本，並避免在微調過程中導致模型效能下降。確保在部署自定義 AI 時能更有效地利用 AWS 運算資源。
下一步行動
根據 Amazon Nova Forge 建議的學習率與批次大小策略，重新審視您目前的訓練配置。
誰應關注：Developers & AI Engineers
關鍵要點
- •平衡特定領域效能與模型的通用能力
- •優化學習率與批次大小等關鍵訓練參數
- •實施有效的檢查點機制以避免浪費運算資源
🧠 深度解析
Web-grounded analysis with 22 cited sources.
🔑 增強重點摘要
- •Amazon Nova Forge 引入了「開放訓練」範式，允許客戶在模型開發的預訓練、中訓練和後訓練等各個主要階段，將其專有資料與 Amazon 精心策劃的資料集混合，從而實現深度領域理解，同時防止「災難性遺忘」模型基礎能力的問題。
- •該服務支援強化學習 (RL)，客戶可以在自己的環境中定義獎勵函數，並利用多輪互動和基於 API 的自訂環境，整合複雜的專有工具、測試框架和驗證器，以評估複雜的領域特定任務。
- •Nova Forge 提供了負責任的 AI 工具包，用於在訓練過程中將模型與 Amazon Nova 的負責任 AI 指南對齊，並實施運行時控制以調節模型回應，確保模型符合安全和內容審核標準。
- •除了傳統的監督式微調 (SFT) 外，Nova Forge 還支援低秩適應 (LoRA) 和全秩 (Full Rank) 兩種訓練模式，其中 LoRA 提供更快的訓練速度和更低的計算成本，而全秩則提供最大的適應能力，但需要更高的計算資源。
- •Nova Forge SDK 簡化了自訂工作流程，提供從資料準備、訓練任務管理到模型部署的一站式解決方案，並支援 MLflow 追蹤和多種評估方法，包括公共基準測試、自帶資料評估以及使用 LLM 作為評審來評估回應品質。
📊 競品分析▸ Show
| 特性/服務 | Amazon Nova Forge | Databricks MosaicML | Azure AI / Google Vertex AI | Mistral Forge |
|---|---|---|---|---|
| 模型訓練階段存取 | 提供預訓練、中訓練、後訓練等多階段檢查點存取，實現深度資料注入。 | 支援微調和持續預訓練開源模型，但缺乏中訓練階段的資料注入能力。 | 通常不提供其前沿模型的中間訓練檢查點存取。 | 提供從預訓練到強化學習的端到端模型開發能力。 |
| 資料混合能力 | 獨特的資料混合方法，將專有資料與 Amazon Nova 精心策劃的資料集混合，防止災難性遺忘。 | 支援自訂模型訓練，但未明確提及與基礎模型訓練資料的深度混合機制。 | 提供微調功能，但通常是在模型最終層進行，較少涉及與原始訓練資料的深度混合。 | 允許整合專有資料集和決策框架。 |
| 模型部署 | 自訂模型（Novellas）可作為私有模型部署到 Amazon Bedrock。 | 模型權重可以匯出並在平台外部運行。 | 提供在各自雲端環境中的模型部署。 | 支援靈活的部署選項，包括本地、私有雲或 Mistral 基礎設施。 |
| 定價模式 | 年費約 10 萬美元，外加 SageMaker 計算資源費用。 | 未提供具體定價，但通常與其湖倉一體架構整合。 | 通常基於使用量和模型類型定價。 | 未提供具體定價，但針對企業客戶。 |
| 專注點 | 專注於使用 Amazon Nova 模型建立深度領域專家模型。 | 專注於利用其湖倉一體架構進行自訂模型訓練。 | 提供廣泛的 AI/ML 服務和模型。 | 專注於為企業建立高度專業化的模型。 |
🛠️ 技術深入
- 模型類型與輸出：Amazon Nova Forge 允許客戶建立自訂的「Novellas」，這些是 Amazon Nova 前沿模型的私有、自訂版本，經過客戶專有資料的訓練，並託管在客戶的 AWS 帳戶中。
- 訓練流程：訓練管道分為四個主要階段：持續預訓練 (CPT)、中訓練、監督式微調 (SFT) 和強化學習 (RL/RFT)。每個階段都會產生一個檢查點，並建議在每個階段後評估模型。
- 資料處理：Nova Forge 直接從 Amazon S3 儲存桶攝取訓練資料集，消除了傳統微調工作流程中常見的匯出和重新格式化步驟。客戶資料在整個過程中保留在客戶的 S3 環境和 VPC 內。
- 訓練模式：支援兩種主要的模型參數更新模式：
- LoRA (Low-Rank Adaptation)：僅更新適配器層，提供更低的計算成本、更快的迭代速度，並與隨選推論相容。
- Full Rank：更新所有模型參數，提供最大的適應能力，但需要更高的計算資源，並且部署需要 Amazon Bedrock 預置吞吐量。
- 強化學習能力：支援在自訂環境中執行強化微調 (RFT)，使用獎勵函數，並可管理多輪互動和整合 API 型自訂環境。
- 評估機制：提供多種評估方法，包括公共基準測試（如 MMLU、IFEval）、自帶資料評估（使用客戶的測試集）以及使用大型語言模型 (LLM) 作為評審來評估回應品質。
- 基礎設施整合：訓練作業在 Amazon SageMaker AI 上運行，包括 SageMaker HyperPod，提供視覺化工作流程或命令列/筆記本介面。
🔮 前景展望AI analysis grounded in cited sources
企業將能更廣泛地建立領域專家級 AI 模型。
Nova Forge 透過提供前沿模型的早期檢查點和資料混合能力，降低了企業建立高度專業化基礎模型的門檻，使其不再僅限於少數科技巨頭。
AI 應用將從通用智慧轉向更深層次的領域原生智慧。
Nova Forge 允許將專有知識直接嵌入模型的核心推理能力中，從根本上改變模型對特定行業和業務流程的理解方式。
跨行業的創新速度將顯著加快。
透過 Nova Forge，製藥、金融服務和製造等行業能夠利用其專有數據快速開發出超越通用模型性能的定制 AI 解決方案，加速產品開發和業務優化。
⏳ 時間線
2025-12
Amazon Nova Forge 於 AWS re:Invent 2025 發表並普遍可用。
2025-12
Amazon Science 部落格發布關於 Nova Forge「開放訓練」範式的文章。
2026-02
部落格文章「Inside the Amazon Nova Forge」發布，詳細介紹其獨特之處和定價模式。
2026-03
Amazon Nova Forge SDK 推出，簡化了 Nova 模型的自訂工作流程。
2026-04
AWS 部落格發布關於使用資料混合功能微調 Nova 模型的實用指南。
2026-06
AWS Machine Learning 部落格發布關於 Amazon Nova Forge 超參數優化技巧的指南。
📎 來源 (22)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： AWS Machine Learning Blog ↗