Sklearn PCA 在 40k×40k 矩陣崩潰

🔑 增強重點摘要

• •Scikit-learn 的 IncrementalPCA 可處理大型資料集，以 batch_size * n_features 的常數記憶體複雜度運行，支持稀疏輸入和 np.memmap 檔案[1]。
• •Randomized SVD 演算法可大幅加速大型矩陣 PCA，例如在 40 億元素矩陣上僅需 132 秒計算 top-24 成分，比傳統方法快數倍[2]。
• •類似問題在 GitHub issue #24757 中報告，30000×28000 資料集 PCA 運行 30 分鐘後崩潰，即使記憶體使用率未達 30%，可能與 scipy.linalg.svd 實作有關[4]。
• •Scikit-learn 建議對於 n_features 很大時避免 'full' solver，因需實體化整個共變異數矩陣導致記憶體需求過高[5]。

🛠️ 技術深入

• •IncrementalPCA 基於 Ross et al. (2008) 的增量 PCA 模型，每批 SVD 計算複雜度為 O(batch_size * n_features²)，僅保持 2 * batch_size 樣本在記憶體中[1]
• •Randomized SVD 將計算複雜度從精確方法的 O(n_max²⋅n_min) 降至近似 O(n_max * n_components)，記憶體需求僅 2⋅n_max⋅n_components[2][3]
• •sklearn PCA 'full' solver 呼叫 scipy.linalg.svd，在大型矩陣上易因數值穩定性或記憶體分配失敗而崩潰[4][5]
• •共變異數矩陣計算公式為 S = (1/(n-1)) * B * Bᵀ，其中 B 為中心化資料矩陣，對 40k×40k 矩陣需約 12.8GB 雙精度浮點數[3]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線