Search

直接匹配不多，已補上最新動態。

Tag: #human-evaluation4 results

衡量 LLM 的類人行為

Apple 研究人員提出一項多維度研究，分析大型語言模型的類人行為，包括情緒表達、關係建立、拒絕請求與維持界線。研究評估這些行為在不同模型、使用者與系統提示下的出現頻率、潛在影響及可控程度。

DesignArena 的創辦團隊募得 790 萬美元，旨在將人類判斷力與品味融入 AI 模型開發。該平台在全球擁有 530 萬名使用者，並為前沿 AI 實驗室提供評測。

本文將心理測量評分者模型整合至AI評估中，以修正人類評分者的系統性錯誤。採用項目反應理論，特別是多面向Rasch模型，來分離輸出品質與評分者效應如嚴格度和中心性。在OpenAI摘要資料集上的應用，提供調整後的品質分數與評分者診斷，提升AI評估可靠性。

《Judgment and Decision Making》期刊的一項研究發現，讀者對三篇 ChatGPT 撰寫故事的品質評分，高於三篇人類創作的故事。研究人員認為，AI 較簡潔的寫作方式可能更容易閱讀與理解，但這並不代表人類作者已經過時。

量子位報導星海圖與產業夥伴共同討論具身智能從模型走向生產力的路徑。文章強調透過產業協作，推動具身智能真正落地到多個行業。

OpenAI 表示 Codex 活躍使用者已突破 2,000 萬，第三方追蹤數據則顯示其近期增速超越 Claude Code。Claude Code 目前規模仍較大且深受開發者採用，但隨著 Anthropic 接近早期市場飽和，其高速成長已經放緩。