CT 掃描揭露 LLM 情緒處理機制

🔑 增強重點摘要

• •Activation Lab 的 LLMCT 技術採用了類似神經科學的『功能性磁振造影』概念，透過在推論過程中即時攔截殘差流（Residual Stream）中的隱藏狀態，實現了對模型內部情緒表徵的非侵入式觀測。
• •研究指出 Qwen 2.5 的情緒處理機制存在明顯的『層級分工』，淺層負責語法與基礎語意，而第 29-33 層則專門負責將輸入的情緒特徵映射至高維度的情感空間，這解釋了為何模型在處理複雜情緒時會出現處理延遲。
• •實驗發現模型存在『情緒偏見（Sentiment Bias）』，即便在輸入負面情緒提示詞時，模型仍傾向於透過內部權重調整將輸出導向中性或正向，這顯示了訓練階段的 RLHF（人類回饋強化學習）對模型情緒骨幹的強烈干預。

🛠️ 技術深入

• •觀測方法：利用 Hook 機制在 Transformer 的每一層輸出處擷取隱藏狀態（Hidden States），並計算與預定義情緒向量空間的餘弦相似度。
• •模型架構：Qwen 2.5-3B，採用標準 Transformer 解碼器架構，實驗重點在於分析殘差流（Residual Stream）中情緒資訊的傳遞與演變。
• •情緒骨幹分析：透過主成分分析（PCA）將高維隱藏狀態降維，識別出情緒資訊在殘差流中佔據的穩定子空間。
• •記憶衰減模型：採用指數衰減函數來量化模型在長對話中對初始情緒設定的維持能力，發現其衰減係數與模型層數深度呈負相關。

🔮 前景展望AI analysis grounded in cited sources