微軟發布 ASSERT 開源框架，用於評估 AI 智能體行為
微軟開源了 ASSERT 框架，該框架能將自然語言行為規範轉換為 AI 智能體的可執行評估流程。它能根據定義的政策與約束，自動生成測試案例並進行評分。
Search
直接匹配不多，已補上最新動態。
Tag: #llm-testing4 results
糟糕的評估並未減緩代理程式自主化
在 108 家企業中，對自動化評估的完全信任度幾乎從 5% 增至 13%，但通過內部評估後仍導致面向客戶失敗的比例維持在 49%。曾經歷這類失敗的企業最不信任評估，卻反而更可能移除人工介入。
AI 效能評估背後的華人專家
本文介紹了一位華人研究員在開發測試 AI 智慧的評估框架中所扮演的角色。強調了在當前 AI 發展環境中，嚴謹基準測試的重要性。
BloonsBench：評估LLM代理於Bloons Tower Defense 5表現
BloonsBench是評估LLM代理於Bloons Tower Defense 5表現的新基準。用於遊戲環境中的代理AI測試。在r/LocalLLaMA發佈。
Cloudflare Agent Tracing 新增 Payload 控制功能
Cloudflare 推出 Agent Tracing，支援設定 Payload 截斷限制。不同支援的 Agent 框架在 Payload 預設記錄策略上有所差異，因此開發者在設定可觀測性時需要檢查各框架的個別設定。
⚙️
AI 熱潮揭示磷化銦供應缺口
AI 資料中心擴張正大幅推升磷化銦衍底的需求，這類材料用於高速光晶片。全球供應高度集中於三家海外供應商，而中國國內產能仍然有限，且正處於擴產爬坡階段。
🤖
SHADOW-250M：僅 60 MB 的長上下文 LLM
一名獨立開發者表示，他以 300 億個 FineWeb tokens 訓練 SHADOW-250M，這個 2.5 億參數 LLM 經量化後低於 2 bits。據稱模型可在筆電 CPU 上以每秒約 400 tokens 運行，並透過磁碟上的 1-bit 壓縮機制，從最長 1 億 tokens 的歷史內容中進行檢索。
AI 讓作業變好，卻讓學習能力退化
一項追蹤26,811名中國中學生、歷時30個月的研究發現，使用生成式 AI 的學生作業成績平均提高18%、完成時間縮短30%，但月考成績平均低20%。研究指出，長期使用者更容易將作業完全外包給 AI，使原本應透過草稿、試錯與推演建立的能力逐步流失。
日本收緊 AI 硬體供應鏈
日本將阻焊劑、GaN 基板、永磁體、鈣鈦礦電池與閃爍體五類技術，納入技術轉移前的申報與審查框架。這項措施涵蓋海外子公司、合資企業、公司、大學與研究機構，可能影響半導體、機器人、AI 伺服器及感測器供應鏈。
ChatGPT 威脅通報促成逮捕
一名前 Goldman Sachs 分析師因在 ChatGPT 中留下針對前女友的具體威脅，遭 OpenAI 標記並移交執法機關後被捕。這起案件凸顯 AI 聊天記錄可能成為司法證據，也引發對隱私、威脅偵測標準與平台通報義務的討論。