🤖Reddit r/MachineLearning•較早收集於 30m
無導數優化在 MNIST 任務上超越 Adam
💡探索一種在 MNIST 上擊敗 Adam 的無梯度優化方法，挑戰傳統神經網路訓練方式。
⚡ 30-Second TL;DR
有什麼變化
MDP 在 MNIST 上達到 93.4% 的測試準確率，優於 Adam 的 91.7%。
為什麼重要
這項研究挑戰了簡單神經網路對基於梯度的反向傳播之依賴，可能為不可微分或黑盒環境下的優化開闢新途徑。
下一步行動
複製 sgo-lab 儲存庫，並在您自己的小型神經網路架構上測試 MDP 優化器，以比較其與 Adam 的效能差異。
誰應關注：Researchers & Academics
關鍵要點
- •MDP 在 MNIST 上達到 93.4% 的測試準確率，優於 Adam 的 91.7%。
- •在無需梯度的情況下，於 25,450 維的搜尋空間中完成優化。
- •該方法在 100 萬次函數評估中實現收斂，且未使用基於群體的演算法。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •在25,450維的參數空間中取得優異表現，對於無導數優化方法而言是一項顯著成就，因為這類方法傳統上在處理高維度問題時效率會降低，且其性能會隨著問題規模的增加而衰退 [7, 11]。
- •MDP不依賴於基於群體的演算法（如遺傳演算法或粒子群優化），這使其在無導數優化領域中獨樹一幟，並可能暗示其採用了模型基於或直接搜索等非群體方法來探索參數空間 [7, 24]。
- •該方法的成功突顯了機器學習領域中對反向傳播替代方案日益增長的興趣，這些替代方案旨在解決反向傳播的生物學不合理性、高記憶成本和順序梯度流等挑戰 [1, 3, 6, 21]。
- •作為一種無導數方法，MDP特別適用於目標函數不可微分、嘈雜或計算梯度成本高昂的黑箱優化問題，這在模擬、機器學習和工程設計等領域中很常見 [7, 16, 24]。
- •在100萬次函數評估中實現收斂，且未採用基於群體的演算法，表明該方法在探索高維空間方面具有計算效率，這對於無導數優化而言是一個重要的性能指標 [7, 16]。
📊 競品分析▸ Show
| 特性/方法 | MDP (無導數優化) | Adam (梯度下降變體) | 其他無導數優化 (例如：演化策略) |
|---|---|---|---|
| 優化類型 | 無導數優化 (Derivative-Free Optimization) | 梯度下降變體 (Gradient Descent Variant) | 無導數優化 (Derivative-Free Optimization) |
| 梯度需求 | 無 (No gradients) [文章] | 需要 (Requires gradients) [25, 30, 33, 34] | 無 (No gradients) [24] |
| 反向傳播 | 無 (No backpropagation) [文章] | 需要 (Requires backpropagation) [2, 25, 33] | 無 (No backpropagation) [8, 12] |
| MNIST準確率 | 93.4% [文章] | 91.7% [文章] | 通常較低，或需更多評估 (例如：GA在MNIST上約30-83%) [5, 9] |
| 參數空間 | 25,450 維 [文章] | 適用於高維 (Suitable for high-dimensional) [25, 33] | 適用於中低維，高維挑戰大 [11] |
| 收斂評估次數 | 100 萬次函數評估 [文章] | 依學習率和批次大小而異 | 通常需要大量函數評估，尤其是基於群體的 [3] |
| 群體演算法 | 否 (Not population-based) [文章] | 否 (Not population-based) | 是 (Yes, population-based) [24] |
🛠️ 技術深入
- 無導數優化 (DFO) 範疇: MDP屬於無導數優化方法，這意味著它僅依賴於目標函數的函數值來指導搜索過程，而無需計算梯度或Hessian矩陣 [7, 16, 24]。
- 非基於群體的策略: 由於MDP不是基於群體的演算法，它可能採用了模型基於 (Model-Based) 或直接搜索 (Direct Search) 的方法。模型基於方法會構建局部替代模型（例如多項式或徑向基函數）來近似目標函數，並在信任域內優化這些模型以建議下一個搜索點 [7, 29]。直接搜索方法則通過系統地擾動參數或遵循預定義模式來探索搜索空間，而無需明確構建目標函數的模型 [7]。
- 高維度處理: 在25,450維的參數空間中進行優化，表明該方法可能採用了先進的策略來應對DFO在高維度問題上的傳統挑戰，例如利用問題結構或採用有效的搜索方向估計 [7, 11]。
- 函數評估效率: 該方法在100萬次函數評估中實現收斂，這對於高維度的無導數優化而言是一個重要的效率指標，尤其是在沒有群體演算法的並行探索優勢的情況下 [7, 16]。
- 與其他無反向傳播方法的潛在聯繫: 雖然具體細節未知，但其原理可能與近期提出的其他無反向傳播方法有相似之處，例如FFzero，該方法結合了分層局部學習、基於原型的表示和基於方向導數的優化，僅通過前向評估進行 [21]。
🔮 前景展望AI analysis grounded in cited sources
加速生物啟發式AI的發展
無導數優化方法，特別是那些避免反向傳播的方法，與大腦學習的生物學機制更為一致，可能為開發更具生物合理性的AI模型鋪平道路 [1, 2, 6]。
擴大AI在黑箱系統中的應用
由於無需梯度信息，此類方法能夠有效優化那些目標函數不可微分、嘈雜或計算梯度成本過高的複雜黑箱模型和模擬系統 [7, 16, 24]。
降低深度學習訓練的計算和記憶開銷
避免反向傳播可以顯著減少訓練深度神經網絡所需的記憶量，並可能通過實現更高效的並行化來縮短訓練時間 [3, 21]。
⏳ 時間線
1950年代
馬可夫決策過程 (MDP) 在運籌學中起源，同時早期無導數坐標搜索方法出現 [13, 26]
1986
反向傳播算法被廣泛推廣，成為訓練多層神經網絡的主流方法 [1]
2013
無導數優化算法的綜述論文指出，這類方法在處理高維度問題時面臨挑戰 [11]
2019-12
ZO-AdaMM (零階自適應動量方法) 提出，結合了無梯度和自適應梯度算法的優勢 [32]
2025-04
NoProp 論文發表，提出無需前向或反向傳播即可訓練圖像分類器的方法 [3]
2026-03
FFzero 框架推出，實現了無需反向傳播或自動微分的穩定神經網絡訓練 [21]
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/MachineLearning ↗