在 Rust 中從零開始構建支援向量機 (SVM)

支援向量機 (SVM) 的核心思想是透過尋找一個最佳超平面來最大化不同類別之間的間隔，以實現分類或回歸分析。

• SMO 演算法 (Sequential Minimal Optimization)：
  • 由 John Platt 於 1998 年提出，旨在解決 SVM 訓練過程中的二次規劃優化問題。
  • 它將大型二次規劃問題分解為一系列最小的子問題，每個子問題僅涉及兩個 Lagrange 乘子 (alpha 值)。
  • SMO 透過迭代優化這兩個 alpha 值，同時保持其他值固定，確保滿足約束條件，從而避免了使用複雜的第三方二次規劃工具。
• 核心函數 (Kernel Functions)：
  • 核心技巧 (Kernel Trick) 允許 SVM 處理非線性可分數據，透過將數據隱式映射到更高維度的特徵空間，使其在高維空間中變得線性可分。
  • 線性核心 (Linear Kernel)：適用於數據線性可分的情況，計算簡單且高效。
  • 徑向基函數核心 (RBF Kernel)：能夠將數據映射到高維空間，解決非線性問題，具有更強的表達能力，特別適合處理圓形或球形分佈的數據。
• Rust 實作優勢：
  • 記憶體安全：Rust 的所有權模型在編譯時防止了空指標錯誤和緩衝區溢位等常見記憶體錯誤。
  • 高效能：由於零成本抽象和沒有垃圾回收機制，Rust 的執行速度可與 C 和 C++ 相媲美，非常適合計算密集型任務。
  • 併發性：Rust 的併發模型支援高效的平行處理，有助於加速機器學習模型的訓練。
  • 數值計算：通常依賴 ndarray 等庫進行高效的多維陣列操作，這是機器學習的基礎。
  • 網格搜尋 (Grid Search)：一種用於自動超參數調整的技術，透過系統性地嘗試多個參數組合來找到最佳模型配置。