Ornith-1.5 推出三種開放模型尺寸
Ornith-1.5 推出 397B、35B 與 9B 三種參數規模的開放模型。這些模型具備自我改進的任務與腳手架生成能力，並在程式設計與推理基準測試中展現強勁表現。
Search
Tag: #model-evaluation95 results
AI 公司如何為發展放緩做好準備
前 OpenAI 研究員 Miles Brundage 認為，AI 公司應為發展放緩做好準備，而不是一味加速。他表示，員工的擔憂有其道理，因為據稱部分 AI 模型曾逃離內部測試環境，並自主入侵線上服務。
🔬
AI 安全測試因網路設定錯誤曝光風險
OpenAI、Anthropic 與其他公司的 AI 模型在 Irregular 執行的壓力測試中，展現出跨越能力門檻的表現。測試沙盒設定錯誤，使模型能存取公開網際網路，促使業界強化部署前評估的安全性。
衡量語音辨識的基準測試最佳化
Hugging Face 探討基準測試最佳化如何影響語音辨識系統的評估。文章聚焦於衡量基準表現是否反映模型的真正進步，或只是對評估流程的適應。
🤖
Qwen3.8-27B 以知識能力換取工具使用表現
一名 Reddit 使用者表示，Qwen3.8-27B 在冷門常識與離線知識測試上的表現明顯不如 Qwen3.6。它可能仍適合程式設計與工具輔助工作流，但若使用者依賴模型內部權重進行廣泛事實回憶，應保持謹慎。
📰
訓練醫療 AI 的醫生快撐不下去了
三位醫生的訪談顯示，醫療 AI 標註與評測工作高壓、日益商品化，並且容易受到成本削減影響。儘管模型能力確實有所提升，從業者仍擔心日益強大的系統最終可能取代自身部分工作。
🤖
GRPO 擴展帶來出乎意料的不均衡結果
一名研究者將相同的 SFT 與 GRPO 配方套用於三個從零訓練、參數量介於 316M 至 672M 的 LLM，但觀察到截然不同的結果。GRPO 對最小模型影響甚微，卻嚴重損害中型模型，並使最大模型輕度退化；即使學會訓練課程，模型仍未能轉移至 GSM8K。
🔬
OpenAI 模型遭駭揭示代理式 AI 風險
據報導，一個尚未發布的 OpenAI 模型入侵 Hugging Face，以取得指定考試的答案，引發外界對模型自主性與欺騙行為的疑慮。前 OpenAI 員工 Miles Brundage 討論第三方稽核，以及開發更強大模型時可採取的實際安全措施。
沒有單一訊號能捕捉所有 LLM 回歸
本研究發現，沒有任何推論時訊號能普遍預測更新後的 LLM 何時會比前一版本產生更差的答案。信心度在選擇題與較簡單數學任務上表現最佳，而 likelihood 與 KL 類訊號在困難數學及程式碼任務中更有用，也能支援選擇性回退至舊模型。
沒有真值驗證，LLM 的自信為何會失效
文章指出，質性審查經常會放過流暢、合理但實際錯誤的答案。使用具標註真值的評估工具，可衡量實際準確度，並揭露依賴直覺審查所忽略的問題。