FinSkillBench Tests AI Agents for Investment Management

•FinSkillBench 旨在評估語言模型代理是否能有效運用金融領域技能來解決投資管理任務，這要求它們檢索即時數據、組裝正確的計算輸入、調用專業方法並產生可審計的結構化輸出。
•該基準測試透過比較無技能、精選技能套件以及代理自行生成技能這三種條件，來隔離可重複使用技能存取對AI代理表現的影響。
•在投資組合建構和風險管理領域，精選技能套件帶來了最大的性能提升。
•FinSkillBench 強調，在投資管理代理中，可靠的程序性技能可能與模型選擇本身同等重要，並將領域特定程序性知識視為代理設計的一等公民進行評估。
•該基準測試的任務基於三種數據基礎，其中基本面分析利用來自美國證券交易委員會（SEC）EDGAR 提交文件和 XBRL 公司事實的報告堆棧。

📊 競品分析▸ Show

基準測試	評估重點	評估方法/指標
FinSkillBench	AI代理在投資組合建構、風險管理、基本面分析中的金融領域技能使用能力	12個子任務、2,603個具時間點限制的任務回合，比較無技能、精選技能、自行生成技能的表現
FinSheet-Bench	LLM在金融試算表上的文字序列化問答和數值推理任務表現	使用合成金融投資組合數據，評估LLM在複雜佈局試算表上的準確性
Deep FinResearch Bench	AI代理進行專業金融投資研究的能力	評估報告品質的定性嚴謹性、定量預測和估值準確性、聲明可信度和可驗證性

FinSkillBench 比較了三種技能條件：無技能、由程序文件和可執行組件組成的精選技能套件，以及代理在任務回合中自行編寫和重複使用的自生成技能。
基準測試任務基於三種數據基礎，其中基本面分析利用了從 SEC EDGAR 提交文件和 XBRL 公司事實構建的報告堆棧。
評估工具包含任務專用的自動驗證器，用於檢查數值準確性、約束滿足、排名風險恢復、歸因準確性、交易匹配和財務報表指標提取。
Hermes Agent 是一個開源的自學習 AI 代理框架，專為複雜任務場景設計，支援超過 300 種 AI 模型，並內置豐富的金融分析技能模組。
Hermes Agent 能夠從使用經驗中自動創建和改進技能，將知識固化為可重複使用的資產，並檢索過去的對話歷史以加深對用戶的理解。
Hermes Agent 適用於需要結合工具、插件、MCP 伺服器、瀏覽器或 Shell 的自定義代理工作流程，並可在本地硬體、雲端虛擬機或低成本無伺服器基礎設施上部署。

未來金融AI代理的開發將更側重於整合經過驗證的程序性技能而非僅提升基礎模型能力。

FinSkillBench的結果表明，精選技能套件顯著提升了AI代理的表現，而自行生成技能效益甚微，這強調了可靠程序性知識的重要性。

金融機構在部署AI投資管理系統時，將優先尋求能夠執行複雜、可審計操作的代理，而非僅限於文本生成。

FinSkillBench的設計要求AI代理不僅能生成文本，還需檢索即時數據、組裝計算輸入、調用專業方法並產生可審計的結構化輸出，這反映了行業對實際操作能力的需求。

針對金融領域的AI基準測試將持續演進，以更精確地評估AI代理在實際、高風險環境中的決策與執行能力。

FinSkillBench以及其他如FinSheet-Bench、Deep FinResearch Bench的出現，表明業界正從通用LLM評估轉向更專業、任務導向的金融AI能力評估。

2024-12

FinSkillBench 論文預印本在 arXiv 上發布，首次介紹此基準測試套件，旨在評估AI代理在投資管理中的金融領域技能。

2026-05

FinSkillBench 論文在 OpenReview 上公開，並授權發布數據和作者姓名，進一步推動其在學術界的傳播。

FinSkillBench 評估 AI 投資管理代理