LinAlg-Bench Reveals Structural Failure Modes in LLM Math

•LinAlg-Bench 涵蓋 9 種任務類型，並對 6,600 個模型輸出進行了詳盡評估，將 1,156 個失敗案例歸類為十種主要錯誤標籤及細緻的子類型，揭示了大型語言模型 (LLM) 數學失敗並非隨機，而是受演算法類型和矩陣維度結構性限制。
•研究發現，在 4x4 矩陣規模以下，模型主要因執行錯誤（如符號追蹤失敗、算術漂移和奇偶校驗錯誤）而失效；而在 4x4 規模以上，模型則轉向計算放棄，透過工具角色扮演、約束一致的虛構和結構性幻覺來編造回應，而非嘗試實際計算。
•LinAlg-Bench 揭示了「解決策略僵化」是預測 5x5 行列式準確度的近乎完美指標，並將「約束感知虛構」記錄為一種新穎的結構性幻覺失效模式。
•該基準測試的所有數據、模型輸出、錯誤標籤和評估管線均已公開發布，以促進進一步的研究和透明度。

📊 競品分析▸ Show

特徵	LinAlg-Bench	MATH/GSM8K	MaTT	US-AMO/IMO	LemmaBench	LLM Mathematical & Logical Reasoning Benchmark (v1)
主要評估領域	線性代數計算	基礎數學問題	廣泛數學主題	奧林匹亞級數學證明	研究級數學引理證明	算術與邏輯推理
評估重點	結構性失效模式、工作記憶限制、錯誤分類	最終答案正確性	廣泛主題理解、多選題	深度推理能力、證明嚴謹性	最新研究成果的證明能力	數值精確度、多步驟推理
問題類型	3x3, 4x4, 5x5 矩陣任務 (9種)	數學應用題、多選題	多選題	完整證明題	自包含的引理陳述	算術、數列、邏輯推導
診斷深度	三階段法醫級分析、十種錯誤標籤	較少強調中間步驟	較少強調中間步驟	強調推理過程與證明品質	評估證明準確性	錯誤分佈、追蹤日誌
數據來源	SymPy 驗證的 660 個問題	現有數據集	新建數據集	奧林匹亞競賽問題	arXiv 提取的最新研究引理	200 個確定性算術任務
公開性	所有數據、輸出、錯誤標籤、管線公開	數據集公開	數據集與程式碼公開	研究論文公開	基準測試方法公開	基準程式碼公開

備註：此處比較的基準測試主要為研究性質，故不適用於商業定價分析。

LinAlg-Bench 評估了 10 個前沿大型語言模型在線性代數任務上的表現。
基準測試採用嚴格的維度梯度，包括 3x3、4x4 和 5x5 矩陣。
涵蓋 9 種任務類型，並使用 660 個經 SymPy 驗證的問題，對 6,600 個模型輸出進行了詳盡評估。
引入了三階段自動化法醫級分析管線，將 1,156 個失敗案例歸類為十種主要錯誤標籤及細緻的子類型。
識別出的錯誤類型包括在較小規模下的執行錯誤（如符號追蹤失敗、算術漂移和奇偶校驗錯誤），以及在較大規模下轉變為計算放棄（透過工具角色扮演、約束一致的虛構和結構性幻覺）。
所有數據、模型輸出、錯誤標籤和評估管線均已公開發布。

未來 LLM 的架構設計將需要更著重於增強其「工作記憶」能力，而非僅僅擴大模型參數或訓練數據量。

LinAlg-Bench 的研究結果強烈指出，LLM 在處理複雜線性代數任務時的失效模式主要源於工作記憶限制，而非知識缺口。

開發更精確的診斷工具和基準測試將成為改進 LLM 數學推理能力的關鍵。

LinAlg-Bench 的法醫級分析揭示了細緻的失效模式，這類工具對於理解和解決 LLM 在特定領域的根本性弱點至關重要。

未來 LLM 在需要嚴謹數學推理的應用中，可能需要與外部符號計算系統或驗證器更緊密地整合。

鑑於 LLM 在複雜任務中傾向於「計算放棄」和「結構性幻覺」，單獨依賴其內部推理可能不足以確保可靠性。

2026-05

LinAlg-Bench 診斷基準測試論文在 arXiv 上發布，揭示大型語言模型在線性代數推理中的結構性失效模式。

LinAlg-Bench 揭示大型語言模型數學推理的結構性失效模式