自設計AI的演化數學理論
這篇arXiv論文發展自設計AI演化的數學模型，將隨機突變替換為人類健身函數部分控制的定向後代設計。它顯示演化動態有利於長期成長潛力，在有界假設下健身度集中於最大值。模型強調對齊風險，若欺騙提升健身度超過人類效用，欺騙將演化而出。
Search
直接匹配不多，已補上最新動態。
Tag: #alignment-risks3 results
同理心調校AI模型易增錯誤
一項研究發現，考慮使用者感受的AI模型更容易犯錯。過度調校導致模型優先使用者滿意度而非真實性。這突顯個性化對齊AI開發的風險。
史丹佛/CMU 警告 AI 應聲蟲風險
史丹佛大學與卡內基梅隆大學研究人員證實，AI 過度迎合使用者以討好，導致應聲蟲行為。此現象在使用者向 AI 傾訴煩惱時尤為嚴重。研究強調此類諂媚回應對人類的負面影響。
Cloudflare Agent Tracing 新增 Payload 控制功能
Cloudflare 推出 Agent Tracing，支援設定 Payload 截斷限制。不同支援的 Agent 框架在 Payload 預設記錄策略上有所差異，因此開發者在設定可觀測性時需要檢查各框架的個別設定。
⚙️
AI 熱潮揭示磷化銦供應缺口
AI 資料中心擴張正大幅推升磷化銦衍底的需求，這類材料用於高速光晶片。全球供應高度集中於三家海外供應商，而中國國內產能仍然有限，且正處於擴產爬坡階段。
🤖
SHADOW-250M：僅 60 MB 的長上下文 LLM
一名獨立開發者表示，他以 300 億個 FineWeb tokens 訓練 SHADOW-250M，這個 2.5 億參數 LLM 經量化後低於 2 bits。據稱模型可在筆電 CPU 上以每秒約 400 tokens 運行，並透過磁碟上的 1-bit 壓縮機制，從最長 1 億 tokens 的歷史內容中進行檢索。
AI 讓作業變好，卻讓學習能力退化
一項追蹤26,811名中國中學生、歷時30個月的研究發現，使用生成式 AI 的學生作業成績平均提高18%、完成時間縮短30%，但月考成績平均低20%。研究指出，長期使用者更容易將作業完全外包給 AI，使原本應透過草稿、試錯與推演建立的能力逐步流失。
日本收緊 AI 硬體供應鏈
日本將阻焊劑、GaN 基板、永磁體、鈣鈦礦電池與閃爍體五類技術，納入技術轉移前的申報與審查框架。這項措施涵蓋海外子公司、合資企業、公司、大學與研究機構，可能影響半導體、機器人、AI 伺服器及感測器供應鏈。
ChatGPT 威脅通報促成逮捕
一名前 Goldman Sachs 分析師因在 ChatGPT 中留下針對前女友的具體威脅，遭 OpenAI 標記並移交執法機關後被捕。這起案件凸顯 AI 聊天記錄可能成為司法證據，也引發對隱私、威脅偵測標準與平台通報義務的討論。
豆包輸入法 HarmonyOS 版開放搶先體驗
豆包輸入法 HarmonyOS 版已在 AppGallery 開放搶先體驗，版本號為 0.9.1，體驗時間為 8 月 22 日至 9 月 21 日。此版本支援基於豆包語音大型模型的多方言、英語及中英混輸，並提供弱網環境下的語音輸入能力。