ARC Launches $100k White-Box Estimation Challenge

•該挑戰賽旨在改進 Alignment Research Center (ARC) 最近一篇關於寬隨機多層感知器 (MLP) 的論文中提出的估算演算法，該演算法透過機械式分析而非大量採樣來預測網路行為，並在理論和實踐中均優於蒙特卡洛採樣。
•ARC 的核心使命是確保未來的機器學習系統與人類利益保持一致，其研究重點是為神經網路行為的機械式解釋奠定理論基礎，以解決AI對齊問題。
•參賽者需要設計一種演算法，該演算法接收一組權重，並為具有隨機採樣高斯權重的 MLP 產生預期輸出估算，評估標準是實現盡可能低的均方誤差。
•挑戰賽所依據的機械式估算方法，其高層次演算法「累積量傳播」（cumulant propagation）早在2022年就已由ARC引入，但為實現低均方誤差而開發的具體細節是本次挑戰賽的重點創新。
•AIcrowd 作為一個協作平台，擁有超過43.7萬名社群成員和320多個已完成的挑戰賽，曾舉辦多項AI相關競賽，並致力於透過挑戰賽推動開放科學和可重現研究。

問題定義：給定一個隨機初始化的多層感知器 (MLP)，在輸入為高斯分佈的情況下，估算模型預期的輸出。
傳統方法：蒙特卡洛採樣，即採樣大量可能的輸入，將它們全部通過模型運行，然後取平均值。
ARC的機械式估算方法：無需運行模型，透過機械式分析網路權重來產生估算。
核心演算法：累積量傳播（cumulant propagation），該演算法透過模型傳播近似的機率分佈。
演算法機制：
- 追蹤最高階數 K 的累積量。
- 在每個矩陣乘法步驟中，使用累積量的多線性性質更新估算的累積量。
- 在每個激活函數步驟中，使用累積量圖求和公式的截斷形式更新估算的累積量。
目標：對於足夠寬的網路，該估算器在理論和實踐中均能以顯著少於蒙特卡洛採樣的浮點運算次數達到目標均方誤差。
模型架構：挑戰賽考慮的 MLP 結構為 h_l = f(W_l h_{l-1})，其中 W_l 是權重，f 是激活函數（例如 ReLU）。挑戰賽初期將固定網路寬度和隱藏層數量。
潛在擴展：該方法可以從網路的預期輸出擴展到損失函數，從而透過對機械式估算應用梯度下降來實現「機械式訓練」（mechanistic training），例如用於蒸餾損失。

該挑戰賽的成功將加速開發更可解釋和可控的AI系統。

透過改進對神經網路行為的機械式估算，研究人員可以更好地理解模型決策過程，這對於AI對齊和安全至關重要。

新的估算演算法可能導致更高效的AI模型訓練方法。

如果能夠透過機械式估算而非大量採樣來預測模型行為，則可以開發出計算效率更高、潛在減少訓練時間和資源消耗的訓練方法，例如機械式蒸餾。

該研究方向有助於解決AI對齊中的「欺騙性對齊」問題。

ARC明確表示，他們正在努力將此方法擴展到已訓練的網路，以產生新的訓練方法，從而降低欺騙性對齊的可能性，確保模型行為良好是出於正確的原因。

2021-04

Alignment Research Center (ARC) 成立，由前OpenAI研究員Paul Christiano創立。

2022

ARC在其論文《Formalizing the presumption of independence》中引入了累積量傳播（cumulant propagation）演算法。

2023-03

OpenAI邀請ARC評估GPT-4尋求權力的行為能力。

2024-10-23

Jacob Hilton發表了關於ARC研究的鳥瞰圖。

2025-11-18

Eric Neyman等人發表了關於「與採樣競爭」的進展，強調ARC在概念和理論上的快速進展。

2026-05-07

ARC發表了關於寬隨機MLP機械式估算的新論文《Estimating the expected output of wide random MLPs more efficiently than sampling》，並在部落格上發布了相關內容。

2026-06-02

ARC與AIcrowd合作啟動「ARC 白盒估算挑戰賽」，暖身賽開始。

ARC 推出 10 萬美元白盒估算挑戰賽