Learning Bayesian Statistics for Data Analysis with Python

•本教學系列將引導讀者認識機率程式設計（Probabilistic Programming）的核心概念，這是一種使用高階語言定義統計模型並自動執行推斷的範式，對於複雜的貝葉斯模型至關重要。
•除了二項分佈，Python中的貝葉斯統計應用廣泛，涵蓋了從線性回歸、分層模型到金融數據分析等多種複雜場景，展示了其在實際問題解決中的靈活性和強大功能。
•學習貝葉斯統計在Python中的實作，將深入探討馬可夫鏈蒙地卡羅（MCMC）方法，特別是哈密頓蒙地卡羅（HMC）及其變體No-U-Turn Sampler（NUTS），這些是現代貝葉斯推斷處理高維和複雜後驗分佈的關鍵演算法。

📊 競品分析▸ Show

Python貝葉斯統計工具比較

特性/工具	PyMC	Stan (透過PyStan/CmdStanPy)	ArviZ
核心功能	概率程式設計框架，用於貝葉斯統計建模和機率機器學習	概率程式語言，用於統計推斷	貝葉斯模型探索性數據分析、診斷和視覺化工具
程式語言	Python (核心庫), PyTensor (後端)	C++ (核心語言), Python (介面)	Python (與PyMC, Stan, TensorFlow Probability等兼容)
推斷引擎	馬可夫鏈蒙地卡羅 (MCMC, 預設為NUTS), 變分推斷 (VI)	哈密頓蒙地卡羅 (HMC), NUTS, 自動微分變分推斷 (ADVI)	處理來自各種推斷引擎的結果
易用性	Python原生語法，高階API，易於模型定義	需要學習Stan語言，但提供Python介面	提供統一的API進行後處理和視覺化，提升工作流程效率
生態系統	社區驅動，NumFocus贊助，與ArviZ緊密整合	廣泛的用戶和開發者社區，與ArviZ兼容	獨立於特定PPL，作為貝葉斯工作流程的標準組件
性能	依賴PyTensor後端進行自動微分和計算優化	C++編譯，通常提供高效能	專注於結果分析，不直接涉及模型推斷性能
應用領域	天文學、流行病學、分子生物學、經濟學等廣泛領域	統計學、計量經濟學、生物學等	適用於任何使用兼容PPL的貝葉斯模型

機率程式設計 (Probabilistic Programming)：這是一種允許用戶以高階語言定義機率模型，並自動執行貝葉斯推斷的範式。它抽象化了底層的隨機數採樣和推斷機制，使應用科學家更容易使用MCMC方法。
馬可夫鏈蒙地卡羅 (MCMC) 方法：對於複雜或高維的後驗分佈，解析解通常不可行，MCMC方法透過從後驗分佈中抽取樣本來進行推斷。
哈密頓蒙地卡羅 (HMC) 與 No-U-Turn Sampler (NUTS)：HMC是一種基於梯度的MCMC演算法，利用模型梯度的資訊來更有效地探索參數空間。NUTS是HMC的一個變體，它能自動調整積分時間，避免不必要的「U形轉彎」，顯著提高了採樣效率，是PyMC等現代機率程式設計庫中連續變量的預設推斷引擎。
變分推斷 (Variational Inference, VI)：作為MCMC的替代方案，VI透過將後驗分佈近似為一個更簡單的、可解析的分佈來進行推斷。它將推斷問題轉化為一個優化問題，通常比MCMC更快，但可能犧牲一些精度。
計算後端：PyMC依賴於像PyTensor（前身為Aesara/Theano）這樣的計算後端。這些後端提供自動微分、計算圖優化和動態C語言編譯等功能，對於實現高效的梯度基MCMC演算法至關重要。

貝葉斯方法將在更多非專業分析師中普及。

隨著PyMC等機率程式設計框架的發展，其高階API和自動化推斷能力降低了貝葉斯統計的學習門檻，使其能被更廣泛的領域專家應用。

貝葉斯統計工具將持續整合先進的計算技術。

為了提升性能和處理更複雜的模型，未來的Python貝葉斯庫將繼續探索與JAX等高性能數值計算庫的整合，並優化其後端架構。

貝葉斯統計在跨學科應用中將扮演更核心角色。

貝葉斯統計處理不確定性、結合先驗知識的能力，使其在天文學、流行病學、金融分析和人工智能等多元領域的決策和研究中日益重要。

1700s

托馬斯·貝葉斯發展貝葉斯定理，皮耶-西蒙·拉普拉斯進一步發展貝葉斯統計。

2003

PyMC專案開始開發，旨在使馬可夫鏈蒙地卡羅（MCMC）方法更易於應用科學家使用。

2009

PyMC 2.0發布，標誌著向使用優化Fortran擴展的高性能代碼庫過渡。

2013-05

PyMC3（最初名為PyMC）首次發布，透過使用Theano作為計算後端，實現了基於梯度的MCMC和變分推斷。

2020-10

首屆PyMCon會議舉行。

2021-06

PyMC3更名為PyMC，其Theano後端被重構並發布為Aesara。

2022-12

PyMC v5.0發布，將其計算圖後端從Aesara切換到PyTensor。