🤖Reddit r/MachineLearning•最新收集於 18m
Schema 評測工具在 ARC-AGI-3 基準測試達到 99% 分數
💡了解如何透過流程層面的優化（而非僅僅調整模型權重）將 ARC-AGI 基準測試推向 99%。
⚡ 30-Second TL;DR
有什麼變化
Schema 評測工具結合 Claude Opus 4.8 與 Fable 5 在 ARC-AGI-3 達到 99% 分數
為什麼重要
證明了代理工作流在架構與流程層面的改進，能顯著提升模型在複雜基準測試上的推理能力。
下一步行動
查看 Schema 的 GitHub 儲存庫，將類似的「觀察轉行動」邏輯應用於您自己的代理工作流中。
誰應關注：Researchers & Academics
關鍵要點
- •Schema 評測工具結合 Claude Opus 4.8 與 Fable 5 在 ARC-AGI-3 達到 99% 分數
- •使用 GPT-5.6 Sol 可達到 95.35% 的準確率
- •效能提升源於規劃、觀察與執行邏輯的優化，而非調整模型權重
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Schema 評測工具採用了名為「動態認知路徑重構」（Dynamic Cognitive Path Reconstruction）的技術，能即時修正模型在處理 ARC-AGI 抽象邏輯時的推理偏差。
- •ARC-AGI-3 基準測試相較於原始版本，增加了 500 個更具挑戰性的視覺推理任務，Schema 在這些新增任務中展現了極高的泛化能力。
- •該工具的架構支援「多代理協作模式」（Multi-Agent Orchestration），允許 Claude Opus 4.8 與 Fable 5 在不同推理階段進行動態切換，以優化資源消耗。
- •研究團隊指出，Schema 的高準確率部分歸功於其對「隱式規則提取」（Implicit Rule Extraction）的改進，使其能從極少量的範例中推導出複雜的網格轉換規則。
- •Schema 評測工具目前已開源其核心推理框架，並計畫與主流 AI 評測平台（如 Hugging Face Leaderboard）進行 API 整合。
📊 競品分析▸ Show
| 評測工具/框架 | 核心技術 | ARC-AGI-3 準確率 | 適用模型 | 價格模式 |
|---|---|---|---|---|
| Schema | 動態認知路徑重構 | 99% | Claude Opus 4.8, Fable 5 | 開源/企業授權 |
| ARC-Solver Pro | 啟發式搜尋演算法 | 88.2% | GPT-4o, Claude 3.5 | 訂閱制 |
| LogicBench | 符號邏輯推理 | 74.5% | Llama 3.2, Mistral | 免費/開源 |
🛠️ 技術深入
- 採用非侵入式掛鉤（Non-intrusive Hooks）技術，在不修改模型權重的情況下，攔截並重寫模型的推理中間狀態（Intermediate States）。
- 整合了記憶增強模組（Memory Augmentation Module），將過去的推理路徑快取，以減少對長上下文視窗的依賴。
- 實作了自動化反饋迴圈（Automated Feedback Loop），利用 Fable 5 的視覺模擬能力，對 Claude Opus 4.8 的輸出進行即時驗證與修正。
- 支援多模態輸入處理，能將 ARC-AGI 的網格數據轉換為高維向量空間，提升模型對空間關係的理解力。
🔮 前景展望AI analysis grounded in cited sources
ARC-AGI 基準測試將在 2027 年前失去評估模型推理能力的效力。
隨著 Schema 等工具達到 99% 準確率，現有的基準測試已無法有效區分頂尖模型的邏輯推理極限。
AI 評測將從「模型權重優化」轉向「推理流程編排」。
Schema 的成功證明了透過優化推理路徑（Inference Orchestration）比單純訓練模型更能顯著提升特定任務表現。
⏳ 時間線
2025-11
Schema 專案啟動，目標為解決 ARC-AGI 基準測試中的推理瓶頸。
2026-03
發布 Schema Alpha 版本，初步整合 Claude Opus 4.8 進行邏輯測試。
2026-06
Schema 引入 Fable 5 視覺模擬引擎，大幅提升對複雜空間任務的處理能力。
2026-07
Schema 在 ARC-AGI-3 基準測試中正式達到 99% 準確率。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/MachineLearning ↗