LimiX-2 瞄準結構化資料推理

•該模型由清華大學崔鵬教授團隊與 Stable AI 聯合研發，已將模型權重與推論代碼開源至 Hugging Face（stable-ai/LimiX-2）並釋出 arXiv 技術報告（2609.17488）。
•LimiX-2 採用上下文條件遮蔽建模（CCMM）訓練，突破傳統 PFN 架構限制，成功學習聯合資料生成分佈 p(x, y | D_context)。
•預訓練資料管線採用結構因果模型（SCM），透過模擬多樣化的有向無環圖（DAG）結構與函數機制生成大規模合成資料。
•具備統一的多任務能力，單一凍結模型無需微調即可在單次前向傳播中同時執行分類、回歸以及缺失值填補。
•模型內部特徵注意力機制直接編碼了因果依賴性，使其能夠直接從表格資料中提取因果骨架並執行因果推理。

LimiX-2

TabPFN-v2

AutoML (如 AutoGluon)

經典 GBDT (如 XGBoost/LightGBM)

模型 / 方案	參數量 / 架構範式	任務支援範圍	資料集重訓需求	因果結構推斷	基準表現 (TabArena)
LimiX-2	4.06 億 (CMN)	分類、回歸、缺失值填補	無需微調 (零樣本單次前向傳播)	支援 (提取因果骨架)	1935 Elo (第 1 名)
TabPFN-v2	表格先驗擬合網絡 (PFN)	主要針對分類 / 回歸	無需微調 (In-context 預測)	不支援	顯著落後於 LimiX-2
AutoML (如 AutoGluon)	整合學習 / 模型搜尋	依管線配置而定	需針對各資料集耗時重新訓練與調參	不支援	遭 LimiX-2 全面超越
經典 GBDT (如 XGBoost/LightGBM)	梯度提升決策樹	單一目標分類 / 回歸	需針對特定資料集訓練與特徵工程	不支援	遭 LimiX-2 全面超越

上下文機制網絡 (CMN): 取代過去 Prior-Data Fitted Network (PFN) 僅建模條件機率 $p(y \mid x, \mathcal{D}{\text{context}})$ 的限制，改以上下文條件遮蔽建模 (CCMM) 捕捉變數間的聯合分佈 $p(x, y \mid \mathcal{D}{\text{context}})$。
結構因果模型 (SCM) 預訓練: 預訓練階段利用 SCM 隨機生成具備多樣有向無環圖 (DAG) 拓撲、非線性機制與雜訊分佈的合成數據集，使模型習得深層數據生成規律。
多任務統一架構: 單一凍結權重網絡即具備零樣本分類、數值回歸與缺失值補全能力，單次推論即可輸出多種下游任務預測結果。
因果骨架提取能力: 藉由模型自注意力權重中隱含的因果依賴結構，LimiX-2 能在沒有顯式因果先驗下重建特徵間的因果骨架圖。
參數量級與擴展法則: 參數量擴展至約 4.06 億（406.2M），遵循清華大學針對大型結構化資料模型（LDM）建立的實證擴展規律，帶來穩定的下游泛化增益。

表格資料建模範式將從特徵工程與樹模型調優轉向基礎模型零樣本推論

LimiX-2 在未微調的情況下於 TabArena 等多項基準超越 AutoML 與 GBDT，證明預訓練基礎模型在結構化資料領域具備取代傳統繁複訓練管線的潛力。

結構化資料基礎模型將深度整合預測與因果發現雙重能力

該架構證明透過 SCM 合成資料預訓練可讓模型自發學會因果骨架推斷，促使未來企業決策系統從單純的關聯性預測轉向可解釋的因果機制分析。

2025-09

清華大學推出 LimiX-1（含 LimiX-2M 與 LimiX-16M），確立結構化資料大模型擴展法則

2026-09

Stable AI 與清華大學正式發布並開源 4 億參數結構化資料基礎模型 LimiX-2

30 秒速覽