Multivariate Probability Models in Machine Learning

•高斯混合模型 (GMM) 透過結合多個高斯分佈來捕捉複雜、多峰的數據分佈，是多變量機率模型在聚類和密度估計中的重要應用，其參數通常透過期望最大化 (EM) 演算法進行估計。
•辛普森悖論在因果推斷和公平性考量中至關重要，特別是在聯邦學習等分散式系統中，由於數據異質性可能導致聚合模型產生誤導性結論，需要透過反事實學習等方法來緩解偏見。
•馬氏距離不僅考慮了數據點之間的距離，還內在地整合了變數的尺度差異和共變異結構，使其在高維和相關特徵的數據中比傳統的歐氏距離更具優勢，廣泛應用於異常檢測和模式識別。
•機率圖模型 (PGMs) 提供了一個更廣泛的框架，透過有向無環圖 (如貝氏網路) 或無向圖 (如馬可夫隨機場) 來視覺化和建模多個隨機變數之間的條件依賴關係，有效解決高維數據的維度災難問題，並為因果推論和生成式模型奠定基礎。

多變量高斯分佈 (Multivariate Gaussian Distribution)：其機率密度函數由均值向量 (μ) 和共變異數矩陣 (Σ) 定義。均值向量決定分佈的中心，而共變異數矩陣則描述了各變數之間的變異程度和相關性，其逆矩陣在馬氏距離計算中扮演關鍵角色，定義了等機率密度曲面的幾何形狀和方向。
高斯混合模型 (Gaussian Mixture Models, GMM)：GMM 假設數據點來自於多個高斯分佈的加權和。每個高斯分佈（稱為成分）都有其獨立的均值向量 (μk)、共變異數矩陣 (Σk) 和混合權重 (πk)。模型參數通常使用期望最大化 (EM) 演算法進行迭代估計，該演算法在 E 步驟計算每個數據點屬於每個成分的機率，在 M 步驟更新成分的參數以最大化似然函數。
馬氏距離 (Mahalanobis Distance)：對於數據點 x 和分佈的均值 μ，以及共變異數矩陣 Σ，馬氏距離定義為 D_M(x) = √((x - μ)ᵀΣ⁻¹(x - μ))。這個公式透過共變異數矩陣的逆來對數據進行標準化和去相關化，使得距離的計算不受變數尺度和相關性的影響，從而更準確地衡量數據點與分佈中心的距離。

多變量機率模型將成為可解釋人工智慧 (XAI) 的核心組成部分。

這些模型固有的機率性質和對變數依賴關係的建模能力，為理解模型的不確定性和內部運作提供了透明度。

緩解辛普森悖論的進階技術將被整合到主流機器學習框架中。

隨著機器學習系統在醫療、金融等敏感領域的應用日益增多，確保公平性並避免聚合數據帶來的誤導性結論變得至關重要。

多變量機率模型與深度學習架構的整合將加速。

結合機率模型的可解釋性和不確定性量化能力與深度學習的強大表示學習能力，可以產生更穩健、更可靠的人工智慧系統，尤其是在生成式模型和因果推論方面。

1936

印度統計學家 P. C. Mahalanobis 提出馬氏距離 (Mahalanobis Distance)，一種考慮變數間相關性的距離度量方法。

1973

加州大學柏克萊分校入學數據案例研究，使辛普森悖論 (Simpson's Paradox) 廣為人知，揭示聚合數據可能隱藏的陷阱。

1980年代末 - 1990年代初

貝氏網路 (Bayesian Networks) 和機率圖模型 (Probabilistic Graphical Models) 在人工智慧領域復興，由 Judea Pearl 等人推動，為多變量依賴關係建模提供了強大框架。

2025-01

浙江大學研究團隊提出 FedCFA 框架，利用反事實學習解決聯邦學習中因數據異質性導致的辛普森悖論問題 (AAAI 2025 接收論文)。

機器學習中的多變量機率模型