Search

Tag: #robustness9 results

YUKTI：語言模型之穩健且可驗證的決策框架

YUKTI 引入了型別命題圖（typed-proposition graph），旨在超越語言模型中單純的點值優化。透過整合不確定性、來源追溯以及假設穩健的帕累托前沿（Pareto frontiers），該框架能顯著降低複雜現實場景中的決策遺憾。

ArXiv AIResearch•Jul 14#decision-theory#llm-optimization#robustness

LLM 評測模型極易受到決策後操縱的影響

研究顯示，LLM-as-a-judge 系統在一般情況下雖穩定，但若在決策後進行針對性的互動挑戰，其判斷結果極易被扭轉。這項發現指出目前的自動化評測流程可能不如預期般可靠。

ArXiv AIResearch•Jun 6#llm-evaluation#robustness#benchmarking

FaithSteer-BENCH：LLM 導向壓力測試基準

FaithSteer-BENCH 推出部署對齊的基準，用於壓力測試 LLM 的推理時導向，評估可控性、效用保留與穩健性，並固定營運點。揭示現有方法失效模式，如虛幻可控性、無關任務認知稅負，以及對擾動的脆弱性。機制診斷顯示許多方法誘發提示條件對齊，而非穩定潛在方向轉移。

ArXiv AIResearch•Mar 21#inference-steering#stress-testing#robustness

CORE：透過信心與正交殘差評分實現穩健分布外偵測

CORE 透過將倒數第二層特徵分解為正交子空間，分離信心與成員資格訊號：分類器對齊的信心成分與殘差。獨立評分每個子空間，並以正規化加總結合，實現穩健分布外偵測。在五種架構與基準測試中達到 SOTA 效能，幾乎無額外運算負荷。

ArXiv AIResearch•Mar 20#ood-detection#robustness

RL 微調視覺語言模型的穩健性與思維鏈一致性

Apple 研究人員探討了經強化學習 (RL) 微調的視覺語言模型在視覺基礎與幻覺方面的脆弱性。研究顯示，文本擾動會顯著降低模型的信心與推理一致性。

Apple Machine LearningOfficial•Jul 2#robustness

提升決策引擎在現實擾動下的可靠性

本文為 MILP 決策引擎提出了一種新的「求解後穩健性」層，用於審核解決方案以應對現實世界的參數變動。它引入了衡量可行鄰域與解平滑度的框架，確保 AI 驅動的計畫在不確定性下依然有效。

ArXiv AIResearch•Jun 2#optimization#robustness#decision-engines

Memvid 招聘日薪 800 美元「AI 霸凌者」

加州新創公司 Memvid 提供日薪 800 美元的「AI 霸凌者」職位，專注測試領先聊天機器人的耐心與記憶力。此工作涉及挑釁 AI 以揭露不一致、遺忘、胡說或幻覺等問題，無需開會或處理郵件。這突顯了 AI 穩健性評估的獨特方法。

The Guardian TechnologyMedia•Mar 19#ai-testing#hallucinations#robustness