📄ArXiv AI•近期收集於 21h
小型模型能學會人類行為，但任務一變就不同
#behavioral-modeling#cognitive-proxy#scaling-laws#out-of-distributionsmall-cognitive-foundation-modelspsych-101arxiv
💡小模型能匹敵 70B 熟悉行為表現，但任務結構改變時，大模型明顯勝出。
⚡ 30-Second TL;DR
有什麼變化
研究團隊使用來自 160 項實驗的 1,070 萬筆試次級選擇資料，訓練四種架構家族中的 14 個模型。
為什麼重要
研究結果顯示，針對熟悉的實驗範式，實務人員不必預設使用超大型模型，也能建立實用的認知代理。然而，若應用涉及新任務或不同的行為分布，應優先提升模型規模並進行明確的泛化測試，而不能只依賴分布內準確率。
下一步行動
請在保留參與者資料與結構全新的任務上評估你的行為或使用者選擇模型，並在擴大模型規模前先執行刺激、回饋、歷史與試次順序消融測試。
誰應關注：Researchers & Academics
關鍵要點
- •研究團隊使用來自 160 項實驗的 1,070 萬筆試次級選擇資料，訓練四種架構家族中的 14 個模型。
- •在分布內評估中，0.6B 至 1B 參數的模型即可在保留參與者資料上匹敵 70B 基準模型。
- •分布外表現呈現更陡峭的規模成長梯度，較大型模型更擅長處理全新的任務結構。
- •遮蔽刺激與回饋內容會移除 75.7% 的已學資訊，並使模型表現跌至低於隨機猜測。
- •試次順序置換顯示，當後續試次由先前反應決定時，模型會利用序列結構。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •該研究採用了行為科學中的『計算建模』（Computational Modeling）方法，旨在透過神經網路模擬人類決策過程，而非僅僅追求語言生成能力。
- •研究發現模型在處理『探索與利用』（Exploration-Exploitation）權衡時，其行為模式與人類在多臂拉霸機（Multi-armed Bandit）任務中的表現高度相關。
- •Psych-101 資料集不僅包含選擇結果，還整合了反應時間（Reaction Time）與學習曲線數據，這使得模型能夠捕捉人類決策的動態變化。
- •研究指出，小型模型在特定任務上的成功歸因於『歸納偏置』（Inductive Bias）的有效利用，而非單純的參數規模效應。
- •實驗結果顯示，當任務結構發生變化（如獎勵機率分佈改變）時，模型表現的下降幅度與人類在認知靈活性測試中的表現具有相似的衰減特徵。
🛠️ 技術深入
- 模型架構：研究使用了包含 Transformer 與 RNN 變體的四種架構，以測試不同記憶機制對行為模擬的影響。
- 訓練目標：採用行為預測損失函數（Behavioral Prediction Loss），最小化模型預測與人類實際選擇之間的交叉熵。
- 數據處理：對 Psych-101 資料集進行了標準化處理，將人類的試次歷史（Trial History）編碼為序列輸入，以模擬決策過程中的上下文依賴性。
- 評估指標：除了準確率，還引入了『行為相似度分數』（Behavioral Similarity Score），用於量化模型決策策略與人類策略的重疊程度。
🔮 前景展望AI analysis grounded in cited sources
行為模擬模型將成為心理學實驗的標準預測工具。
研究證明了小型模型在特定認知任務中能精確模擬人類行為，這將大幅降低行為科學研究的實驗成本。
未來 AI 訓練將更依賴於人類行為數據而非單純的語言語料。
該研究顯示，透過學習人類決策邏輯，模型在資源受限的情況下能展現出更具人類特徵的推理能力。
⏳ 時間線
2025-05
Psych-101 資料集初步構建並發布，旨在整合跨實驗室的行為數據。
2026-02
研究團隊開始針對不同規模模型進行行為模擬的基準測試。
2026-07
研究成果正式發表於 ArXiv，揭示了模型規模與泛化能力在行為模擬中的非線性關係。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗