Multimodal HMMs for Persistent Emotional State Tracking

•分層狄利克雷過程隱馬可夫模型（HDP-HMM）作為一種貝葉斯非參數模型，能夠從數據中學習未知數量的隱藏狀態空間，從而解決了傳統HMM需要預設狀態數量的限制。
•「sticky」擴展透過引入自我轉換偏差參數，有效解決了HDP-HMM在處理時序數據時容易過度分割和狀態快速切換的問題，確保情緒狀態的持續性建模更為穩健。
•效價-喚醒度模型是情緒識別中常用的維度模型，它能在連續空間中精確捕捉情緒的細微變化，比離散情緒模型更能提供精細化、連續性的情緒描述，有時會擴展為包含支配度（PAD模型）的三維模型。
•儘管大型語言模型（LLM）在情緒理解方面展現潛力，但它們面臨數據不平衡、潛在偏見以及對「情緒提示」敏感等挑戰，且其運算成本通常遠高於基於HMM的方法。
•多模態情緒識別結合了文本、音訊和視覺等多種線索，旨在克服單一模態分析的局限性（例如諷刺語氣），從而實現更全面、更準確且更具魯棒性的情感狀態捕捉。

📊 競品分析▸ Show

特徵/指標	多模態隱馬可夫模型 (HMM-based)	大型語言模型 (LLM-based)
運算成本	遠低於LLM方法，輕量級框架	通常較高，需要大量計算資源
模型可解釋性	較高，能提供潛在情緒狀態的清晰模型	較低，內部運作機制複雜，難以完全解釋
狀態推斷	擅長追蹤持續性的情緒弧線，能學習未知狀態數	傾向於對話中的即時情緒識別，可能受「情緒提示」影響
數據需求	可從數據中學習狀態空間，對大規模標註數據的依賴可能相對較低 (相對於LLM從零開始訓練)	高度依賴大規模、高品質且已標註的資料庫進行訓練
偏見與泛化	模型的偏見主要來自訓練數據，但結構相對穩定。	可能吸收人類社會中的感知模式與偏見，泛化能力可能受限於訓練數據的分佈不平衡
應用場景	適用於需要長期、連續情緒狀態追蹤的臨床或對話分析場景	廣泛應用於對話生成、智能推薦、客服等領域，但情緒追蹤可能面臨挑戰

模型基礎: 隱馬可夫模型 (HMM) 是一種統計模型，用於建模具有潛在馬可夫過程的系統，其中潛在變數影響外顯變數，且影響程度需透過觀察外顯變數來估計。
非參數擴展: 該模型基於分層狄利克雷過程隱馬可夫模型 (HDP-HMM)，這是一種貝葉斯非參數方法，允許模型從數據中學習未知數量的隱藏狀態空間，克服了傳統HMM需要預設狀態數量的限制。
狀態持久性: 「sticky」擴展是HDP-HMM的一個增強，透過引入一個自我轉換偏差參數，增加了模型停留在當前狀態的機率，從而有效控制了狀態切換速率，防止模型過度分割數據或狀態快速切換，使其能更穩健地學習平滑變化的動態。
多模態處理: 該模型處理多模態輸入（影像、音訊、文字），以進行效價-喚醒度追蹤。HDP-HMM的框架可以透過狄利克雷過程混合模型 (DP mixtures) 允許學習更複雜、多模態的發射分佈。
推斷算法: 推斷通常透過馬可夫鏈蒙特卡羅 (MCMC) 估計進行，包括吉布斯採樣 (Gibbs sampling) 或束採樣 (Beam sampling)，有時會採用狄利克雷過程的截斷近似來提高混合速率。
Factorial HMM: 原始文章提及「sticky factorial HDP-HMM」，Factorial HMMs 假設存在多個獨立的隱藏馬可夫鏈，它們共同影響觀測值，這允許模型捕捉更複雜的、解耦的潛在動態。

該模型將加速情緒追蹤在資源受限的臨床環境中的部署。

其低運算成本和高效率使其成為傳統LLM方案的實用替代品，有助於心理健康監測和干預。

該技術將促進更精準、個性化的心理健康干預。

持續且可解釋的情緒狀態追蹤能提供醫生更深入的患者情緒動態理解，從而制定更具針對性的治療方案。

多模態HMM方法可能成為未來AI系統中情感智能的基礎組件，與LLM協同工作。

結合HMM的效率和可解釋性與LLM的生成能力，可以創建更全面、情感敏感且負擔得起的人機交互系統。

1989

隱馬可夫模型 (HMM) 作為一種統計模型被廣泛應用於語音識別等領域。

2002

無限隱馬可夫模型 (iHMM) 或 HDP-HMM 的概念由 Beal 等人提出，作為標準參數HMM的貝葉斯非參數替代方案，解決了隱藏狀態數量未知問題。

2006

Teh 等人發表了 HDP-HMM 的貝葉斯非參數版本，為其理論基礎奠定重要基石。

2008

Fox 等人提出「sticky HDP-HMM」擴展，以解決原始HDP-HMM在建模狀態持久性方面的不足，防止過度快速的狀態切換。

2011

Fox 等人發表了關於「sticky HDP-HMM」及其在說話者辨識應用上的論文，進一步驗證了其在實際應用中的效用。

2026-05-15

ArXiv AI 發表「用於持續情緒狀態追蹤的多模態隱馬可夫模型」研究，提出使用 sticky factorial HDP-HMM 進行對話情緒弧線追蹤。

用於持續情緒狀態追蹤的多模態隱馬可夫模型