設計以 ML 為基礎的效能回歸偵測

💡小樣本異常偵測會讓閾值設定與假陽性估計變得不可靠。

⚡ 30-Second TL;DR

有什麼變化

系統完全使用健康執行資料學習正常行為。

為什麼重要

在健康資料集如此小的情況下，閾值估計可能不穩定，也難以準確了解假陽性表現。額外收集一份獨立健康資料集，能更可靠地估算實際運作中的假陽性率。

下一步行動

在部署偵測器前，請收集一份獨立健康資料集，並同時報告其假陽性率與回歸執行資料上的召回率。

誰應關注：Researchers & Academics

AI-generated analysis for this event.

•硬體計數器（Hardware Performance Counters, HPCs）數據通常具有高度相關性，使用主成分分析（PCA）或自動編碼器（Autoencoders）進行降維是處理此類高維度效能數據的標準實務。
•在樣本數極少（如僅 10 個樣本）的情況下，使用留一法（Leave-One-Out Cross-Validation）雖能最大化訓練數據，但極易導致模型過度擬合（Overfitting），建議引入合成數據生成技術（如 SMOTE 或 GANs）來擴充健康樣本。
•效能回歸偵測中的「概念漂移」（Concept Drift）問題，常因系統更新或編譯器優化導致，這使得靜態閾值設定在長期運行中失效，需採用動態閾值調整機制。
•針對硬體計數器異常偵測，業界趨勢正轉向使用無監督學習中的孤立森林（Isolation Forest）或基於變分自動編碼器（VAE）的重構誤差分析，而非單純依賴 MSE/MAE。
•在硬體層級進行效能監控時，計數器採樣頻率（Sampling Rate）與系統開銷（Overhead）之間的權衡是關鍵，過高的採樣頻率本身即會造成效能回歸，形成觀測者效應（Observer Effect）。

數據預處理：針對 HPC 數據，通常需進行 Z-score 標準化以消除不同計數器量級差異，並使用皮爾森相關係數（Pearson Correlation）剔除冗餘計數器。
模型架構：推薦使用 VAE（Variational Autoencoder），其潛在空間（Latent Space）能有效捕捉硬體行為的正常分佈，異常分數通常定義為輸入數據與重構數據之間的重構機率（Reconstruction Probability）。
閾值設定：建議採用極值理論（Extreme Value Theory, EVT）來動態計算閾值，而非依賴固定的統計分位數，這在樣本數極少時更具魯棒性。
評估指標：除了召回率，應引入 F-beta 分數（強調召回率）以及精確度-召回率曲線下面積（AUPRC），以應對異常樣本極度不平衡的問題。