🐯虎嗅•最新收集於 25m
基礎模型已死？
💡了解未來模型為何不再只追求百科知識，而是更重視可組合的 Agent 能力。
⚡ 30-Second TL;DR
有什麼變化
Base Model 的定位正轉向提供 Atomic Skills，而不是獨立完成所有複雜任務。
為什麼重要
AI 團隊可能需要針對下游能力形成，重新優化完整訓練流程，而不再把預訓練視為智慧的最終來源。這項轉變可能推高對目標導向資料生成、中間適應階段及 RL 環境的投入。
下一步行動
在下一個 Agent 模型套用 RL 前，先使用工具呼叫軌跡、長上下文任務及程式碼修復資料，建立一個 Mid-training 階段原型。
誰應關注：Researchers & Academics
關鍵要點
- •Base Model 的定位正轉向提供 Atomic Skills，而不是獨立完成所有複雜任務。
- •訓練資料變得更以能力為導向：據稱網頁與 Wikipedia 資料在 GPT-3 時代約占 85%，部分新模型已降至約 15%，程式碼則成為主要來源。
- •合成資料可將程式碼與知識轉化為除錯、工具呼叫及長程 Agent 任務等更貼近真實工作的樣本。
- •Mid-training 用於銜接預訓練與後訓練，讓模型適應長上下文、推理軌跡、Agent 互動及工具使用。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Arcee AI 推動的『模型合併』（Model Merging）技術，允許在不進行昂貴預訓練的情況下，將多個專精於 Atomic Skills 的模型整合，大幅降低了企業部署特定領域 AI 的成本。
- •研究顯示，透過『課程學習』（Curriculum Learning）策略，模型在預訓練階段引入結構化合成資料，能顯著提升在複雜邏輯推理任務中的表現，超越單純擴大通用語料庫的效果。
- •業界正從『Scaling Laws』（規模定律）轉向『Data-Centric AI』（以資料為中心的 AI），強調資料品質與多樣性對模型收斂速度的影響，而非僅僅依賴參數規模的擴張。
- •Arcee AI 的架構設計強調『模型模組化』（Modularity），使得開發者可以像拼裝積木一樣，針對特定 Agent 任務替換或升級模型中的特定技能模組。
- •隨著推理成本的考量，針對特定任務優化的『小參數模型』（SLMs）在執行 Agent 任務時，展現出比通用大型模型更佳的延遲表現與執行穩定性。
📊 競品分析▸ Show
| 特性 | Arcee AI (Model Merging) | OpenAI (GPT-4o/o1) | Anthropic (Claude 3.5) |
|---|---|---|---|
| 核心策略 | 模組化與模型合併 | 端到端通用模型 | 專注於長上下文與安全性 |
| 部署彈性 | 極高 (可自定義技能組合) | 低 (封閉 API) | 低 (封閉 API) |
| 訓練成本 | 極低 (無需從頭訓練) | 極高 | 極高 |
| 主要優勢 | 領域適應性與開源生態 | 推理能力與生態系統 | 推理軌跡與安全性 |
🛠️ 技術深入
- 模型合併技術：利用如 SLERP (Spherical Linear Interpolation) 或 DARE (Drop And REscale) 等演算法，將不同權重的模型參數進行融合，保留各模型的特定技能。
- 合成資料生成：採用自我修正（Self-Correction）與反思（Reflection）機制，讓模型自動生成並過濾高品質的推理軌跡資料。
- 訓練流程優化：引入 Mid-training 階段，透過特定領域的持續預訓練（Continued Pre-training），使模型在保持通用能力的同時，強化對特定工具呼叫（Tool-calling）的適應性。
- Agent 任務對齊：透過 RLHF 與 DPO (Direct Preference Optimization) 的變體，針對 Agent 的長程決策路徑進行獎勵建模。
🔮 前景展望AI analysis grounded in cited sources
模型合併技術將成為企業 AI 部署的主流標準。
企業對於降低訓練成本與提升模型可控性的需求，將推動模組化架構取代單一龐大的通用模型。
合成資料將在 2027 年前佔據模型訓練資料集的 50% 以上。
高品質人類資料的枯竭迫使開發者轉向利用模型自身生成的合成資料來進行推理與 Agent 能力的訓練。
⏳ 時間線
2023-09
Arcee AI 成立，專注於企業級小型語言模型與模型合併技術。
2024-05
Arcee AI 發布其模型合併平台，允許開發者整合多個開源模型。
2025-02
Arcee AI 推出針對 Agent 任務優化的專用模型訓練框架。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： 虎嗅 ↗