BehaviorBench: Modeling Real-World User Decisions from Behavioral Traces

•BehaviorBench透過重建來自公開預測市場和鏈上紀錄的錢包層級決策歷史，來提供真實的用戶行為數據，而非依賴合成或模型生成的數據。
•該基準測試將用戶行為建模分為兩個互補的任務層：信念預測，旨在預測用戶在市場中的最終立場和信心；以及交易預測，旨在預測單個交易的方向和金額。
•BehaviorBench的評估機制包含針對檢索式評估而設計的分離支持池（disjoint support pools），並涵蓋了2,000個評估錢包，總計141,445個信念實例和1,485,972個交易實例。

📊 競品分析▸ Show

特徵/指標	BehaviorBench (本文)	PrediBench	PredictionMarketBench
主要焦點	利用預測市場和鏈上紀錄的真實行為數據，評估個性化決策建模	測試AI模型透過預測市場預測真實世界事件的能力	預測市場中交易代理的重現性、執行真實回測
數據來源	預測市場和鏈上紀錄的真實錢包層級決策歷史	Polymarket上的熱門事件數據	Kalshi交易所的加密貨幣、天氣和體育合約數據
任務類型	信念預測（用戶立場和信心）、交易預測（交易方向和金額）	預測「是/否」結果的投注決策	交易代理的買賣訂單、管理交易決策
評估指標	(未詳述，但強調個性化影響)	平均回報、Brier分數、年化夏普比率	權益曲線、夏普比率、最大回撤、成交率
獨特之處	超越模擬用戶環境，利用真實行為軌跡建模用戶決策	專注於AI模型在分佈外事件（預測未來）上的預測能力	標準化回測框架，模擬市場微觀結構、費用模型和代理API

BehaviorBench透過重建來自公開預測市場和鏈上紀錄的錢包層級決策歷史來構建其數據集。
該基準測試包含兩個核心任務層：信念預測（Belief prediction）和交易預測（Trade prediction），分別針對用戶的最終立場和信心以及單個交易的方向和金額進行預測。
為了進行評估，BehaviorBench採用了分離的支持池（disjoint support pools）機制，特別適用於檢索式評估方法。
在評估模型時，BehaviorBench會使用四種不同的歷史介面來提供上下文：無個性化（no personalization）、近期歷史（recent history）、生成式個人檔案（generative profiles）以及檢索到的證據（retrieved evidence）。

BehaviorBench將顯著提升基於區塊鏈的個性化推薦系統的準確性與可靠性。

透過利用真實的鏈上行為數據進行基準測試，該平台能更精確地評估和改進模型，使其在去中心化應用中做出更符合用戶需求的決策。

該基準測試將加速AI模型在金融預測和Web3領域的應用發展。

BehaviorBench利用預測市場數據，為AI模型在高度動態和數據透明的金融市場中進行決策提供了實證評估框架，有助於推動相關技術的成熟與落地。

BehaviorBench將鼓勵開發更注重長期用戶行為和跨領域泛化能力的AI模型。

該基準測試超越了短期、單一領域的預測，強調錢包層級的決策歷史，這將促使研究人員開發能夠捕捉更複雜和持久用戶偏好的模型。

2026-06

BehaviorBench基準測試在ArXiv上發表，旨在利用預測市場和鏈上紀錄的真實行為數據評估個性化決策建模。

BehaviorBench：從行為軌跡建模真實用戶決策