Search

Tag: #interpretability59 results

測量 LLM 將推理算力花在哪裡

SARE 是一套在單一 Chain-of-Thought 步驟層級測量計算努力的框架，不再只評估整段推理軌跡。針對六個基準測試與三個開放權重 LLM 的評估顯示，推理能量會因步驟類型而異，錯誤解答在關鍵節點的能量較低，且其表現可超越基於輸出的信心訊號。

ArXiv AIResearch•Aug 3#chain-of-thought#interpretability#reasoning-evaluation

透過動力系統分析解讀潛在思維鏈（Latent CoT）推理

本研究將潛在思維鏈（Latent CoT）推理建模為表徵空間中的軌跡，並應用動力系統分析來理解 CODI 和 COCONUT 等模型的推理演化過程。研究識別出不同的穩定性行為，為提升潛在推理方法的解釋性與效能提供了新框架。

ArXiv AIResearch•Jul 14#interpretability#llm-reasoning#dynamical-systems

探索 Claude 架構中未經編程的湧現行為

本文探討了 Claude 神經架構中出現的神秘、未經編程的能力。文中強調了目前針對這些模型「未被構建」部分如何運作的持續研究。

The NeuronMedia•Jul 7#interpretability#neural-networks#emergent-behavior

LLM 驅動的特徵發現：一種黑盒可解釋性方法

這項研究介紹了一種透過 LLM 從對話記錄中提取並聚類語義特徵的方法，無需存取模型內部結構即可識別模型行為。該方法為行為分析提供了一種比傳統稀疏自動編碼器 (SAE) 更簡單且無監督的替代方案。

AI Alignment ForumCommunity•Jun 22#interpretability#alignment#llm-analysis

Google DiffusionGemma 模型透明度審計

研究人員對 DiffusionGemma 進行了透明度審計，並將其可解釋性與標準的自回歸模型（如 Gemma）進行了比較。雖然變數透明度相當，但由於其非時間順序的擴散推理過程，該模型在演算法透明度方面提出了獨特的挑戰。

AI Alignment ForumCommunity•Jun 20#interpretability#model-transparency#diffusion-models

GLARE：用於全域模型解釋的自然語言介面

GLARE 是一個基於 LLM 的互動式介面，允許使用者使用自然語言查詢黑盒影像分類器的全域解釋。該系統將使用者查詢轉換為 SQL 以聚合局部解釋數據，並提供統計增強的回答與視覺化圖表。

ArXiv AIResearch•Jun 20#xai#interpretability#llm-agents

重新思考用於公眾意見分析的 LLM 評估方法

本研究提出了一種「詮釋性審計管道」（Interpretive Audit Pipeline），以解決基於準確度的標準 LLM 評估方法的侷限性。透過將模型間的分歧視為診斷工具，該框架能識別出需要人工介入的模糊公眾意見。

ArXiv AIResearch•May 29#llm-evaluation#interpretability#data-labeling

APM揭示註解者安全政策分歧

研究人員推出註解者政策模型 (APMs)，這是可解釋模型，僅從標註行為推斷註解者的內部安全政策。APM 達到超過 80% 準確率，能預測反事實回應，並辨識人類與 LLM 註解中的政策模糊性和價值多元性。這有助於無需額外標註成本，即實現更透明且包容的 AI 安全政策設計。

ArXiv AIResearch•May 8#ai-safety#interpretability#annotation