ZDNET 的 AI 測試方法
AI 主宰科技新聞，每天有新模型與產品推出。ZDNET 分享他們評估最新 AI 發展的嚴格流程。此透明度有助於在快速變化的 AI 領域做出明智決策。
Search
Tag: #evaluation51 results
🔬
前沿AI藝術鑑定測試揭露差距
實驗測試4款前沿多模態模型，使用僅圖像或圖像+元數據來評估15幅總值14.6億美元的畫作。發現「辨識 vs 承諾差距」：模型能從視覺辨識藝術，但無文字時猶豫估值。Gemini 3.1 Pro 在兩情境皆最強；GPT-5.4 加元數據後大幅改善。
AI 打榜真打什麼？
探討 AI 榜單競爭的本質。剖析可靠 AI 排名所需的「自我修養」。強調超越原始分數的深層面向。
🤖
ChatGPT 對 Claude：10 項任務誰勝出？
作者在相同 10 項任務上測試 ChatGPT 與 Claude，以決定哪個更優。評估是否值得從 ChatGPT 轉換至 Claude。揭曉正面對決的贏家。
AI 基準測試失效，需新評估方法
傳統 AI 基準以人類對抗機器於孤立任務如西洋棋或編碼。此人機對比框架誘人卻有缺陷。亟需超越簡單比較的新評估方法。
🤖
Gemma 3 在心理治療資料集上 DPO 微調
使用者使用 DPO 在心理治療資料集上微調 Gemma 3 4B，採用 QLoRa 和 PeFT 在 RTX 3050Ti 筆電上執行。尋求本地評估基準以比較基底模型。強調僅為實驗，非醫療建議。
機器學習評估與對齊：經典論文新書
Manning 推出 Hanchung Lee 著作《Evaluation and Alignment: The Seminal Papers》，聚焦機器學習評估從指標到對齊的關鍵研究。它涵蓋生產系統的定義-評估-分析-對齊實務循環。r/MachineLearning 社群可用 MLLEE450RE 碼享 50% 折扣。
LangChain 建構程式碼代理技能
LangChain 正在開發技能，幫助如 Codex、Claude Code 和 Deep Agents CLI 等程式碼代理整合其 LangChain 和 LangSmith 生態系統。此舉與各家公司探索提升代理程式碼任務能力的產業趨勢一致。
宇樹王興興呼籲建機器人評價體系
2月28日HEIS年會上，宇樹科技創辦人王興興提出建立完善機器人標準評價體系，涵蓋效率、成功率、穩定性等指標。若無統一體系，產業將陷「各說各好」困境，內部認可與工業及大眾認知難對齊。
Anthropic 邀請公眾提出最棘手問題
Anthropic 正邀請公眾提交最棘手的問題。現有摘錄未說明活動形式、評估流程或預期研究成果。