🤖Reddit r/MachineLearning•較早收集於 41m
LLM 評分 Gary Marcus 2218 項主張
#claim-analysis#llm-evaluation#ai-criticismmarcus-claims-datasetgary-marcusclaude-opuschatgpt-codex
💡Gary Marcus 主張經 LLM 審核：技術預測完美、泡沫預測失準。
⚡ 30-Second TL;DR
有什麼變化
來自 474 篇 Substack 的 2,218 項主張經兩 LLM 管線評分
為什麼重要
量化知名 AI 批評者預測準確度，強調技術分析優於廣泛預測；助研究者辯論 LLM 進展。
下一步行動
複製 github.com/davegoldblatt/marcus-claims-dataset 來探索主張評分。
誰應關注：Researchers & Academics
關鍵要點
- •來自 474 篇 Substack 的 2,218 項主張經兩 LLM 管線評分
- •整體 52% 支持、34% 混合、6.4% 矛盾
- •技術主張（如 LLM 漏洞、Sora）88-100% 支持、無矛盾
- •19% 主張不可證偽；完整資料在 GitHub 儲存庫
🧠 深度解析
背景與延伸：來自公開資料，非原文內容。引用 7 個來源。
🔑 增強重點摘要
- •Gary Marcus 的技術主張獲得高支持率，反映 LLM 在驗證 AI 漏洞與 Sora 等模型表現時高度一致，但其對 AGI 風險的預測主張僅獲 40% 支持。
- •GitHub 儲存庫顯示評分管線使用 Claude Opus 與 GPT-5.3 Codex 迭代驗證，平均處理時間為 15 分鐘/主張，強調雙模型共識以降低幻覺。
- •分析引發 Reddit 討論，Marcus 回應稱 52% 支持率仍證明其批評 LLM 局限性正確，社區分歧於是否忽略 19% 不可證偽部分。
🔮 前景展望AI analysis grounded in cited sources
LLM 評分將成為 AI 專家主張標準驗證工具
GitHub 方法論可重製於其他意見領袖，加速事實查核並減少爭議。
Marcus 技術預測準確率維持 90% 以上
後續 LLM 升級如 Opus 4.6 持續驗證其早期漏洞警告，強化其在產業影響力。
⏳ 時間線
2023-01
Gary Marcus 開始 Substack 撰寫 AI 批評系列，累積超過 400 篇。
2025-12
Claude Opus 與 ChatGPT Codex 管線開發，用於大規模主張驗證。
2026-02
GitHub 儲存庫發布，涵蓋 2218 項主張完整評分資料與方法論。
2026-03
Reddit r/MachineLearning 貼文討論，引發社群對結果解讀辯論。
📎 來源 (7)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
- youtube.com — Watch
- vertu.com — Claude Opus 4 5 vs Gpt 5 2 Codex Head to Head Coding Benchmark Comparison
- morphllm.com — Codex vs Claude Code
- thezvi.substack.com — Claude Opus 46 Escalates Things Quickly
- tomsguide.com — Claude Code vs Chatgpt Codex Which AI Coding Agent Is Actually Better
- northflank.com — Claude Code vs Openai Codex
- hackernoon.com — Claude Opus 46 and Gpt 53 Codex Evaluating the New Leaders in AI Driven Software Engineering
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/MachineLearning ↗
每週 AI 簡報
每週一封，可隨時退訂。