Implementing 10 Core ML Algorithms from Scratch in NumPy

•該專案的實作強調透明度和可訪問性，其主要目標是呈現演算法的內部運作原理，而非追求極致的計算效率，這對於學習者理解底層機制至關重要。
•使用 NumPy 從零開始實作機器學習演算法是一種廣受認可的教學方法，有助於學習者深入理解其數學原理和運作機制，從而彌合理論與實踐之間的鴻溝。
•除了文章中提到的演算法，許多類似的「從零開始」專案還會涵蓋多項式迴歸、基於密度的聚類以及深度強化學習等更廣泛的機器學習和深度學習概念。
•XGBoost 演算法以其「正規化提升」(regularized boosting) 技術而聞名，該技術在成本函數中加入了正規化項，以控制模型複雜度並有效防止過度擬合，這使其優於傳統的梯度提升決策樹 (GBDT)。
•此類專案通常會利用 Jupyter Notebook 提供互動式學習環境，讓使用者能夠直接執行程式碼、觀察結果並進行資料視覺化，從而加深對演算法行為的理解。

📊 競品分析▸ Show

專案名稱	實作語言	主要焦點/涵蓋演算法	獨特功能/教育價值
本文專案	Python (NumPy)	10 個核心 ML 演算法 (線性迴歸、隨機森林、XGBoost、神經網路等)	與 Scikit-learn 和 PyTorch 進行準確性驗證；模組化結構；提供 Jupyter Notebook (本地/Colab 相容)
eriklindernoren/ML-From-Scratch	Python (NumPy)	廣泛的 ML/DL 演算法 (多項式迴歸、CNN 分類、深度強化學習等)	強調透明度和可訪問性，旨在呈現內部運作原理；提供多種範例
ddbourgin/numpy-ml	Python (NumPy)	機器學習演算法	可作為 Python 套件安裝；包含多種優化器 (SGD、AdaGrad、RMSProp、Adam)
yizt/numpy_neural_network	Python (NumPy)	專注於神經網路 (全連接層、卷積層、池化層)	包含反向傳播公式推導過程；支援多種激活函數、損失函數和優化方法
HiSKIO / Soft & Share (課程)	Python (NumPy, Scikit-learn, TensorFlow等)	機器學習/深度學習理論與實作 (專案導向)	結合理論與實作，提供結構化課程內容；通常使用 NumPy 進行基礎概念教學，再導入高階函式庫

XGBoost 實作細節: 從零開始實作 XGBoost 會涉及梯度提升決策樹的迭代過程，其中包含在目標函數中加入 L1/L2 正規化項以控制模型複雜度，並利用一階和二階梯度（梯度和 Hessian）來優化節點分裂。
神經網路模組化結構: 神經網路的實作會將其分解為獨立的層次區塊，例如全連接層 (Dense Layer)、卷積層和池化層。每個層次都會有其前向傳播和反向傳播的邏輯，並使用 NumPy 進行矩陣運算。
反向傳播機制: 核心技術細節包括手動推導和實作反向傳播演算法，以計算各層權重和偏差的梯度，並使用梯度下降或其他優化器（如 Adam、AdaGrad）來更新模型參數。
激活函數與損失函數: 專案會從頭實作常見的激活函數（如 ReLU、Softmax）和損失函數（如均方誤差 MSE、交叉熵），這些都是神經網路運作的基礎組件。
NumPy 向量化運算: 為了提高效率，所有數學運算都會盡可能利用 NumPy 的向量化能力，避免使用 Python 的迴圈，以實現更快的陣列操作。

此類專案將持續成為機器學習教育的基石。

透過從零開始實作，學習者能更深入理解演算法的數學原理和內部機制，而非僅將函式庫視為黑箱工具。

開發者將具備更強大的除錯和客製化機器學習模型的能力。

對底層實作的理解能讓開發者在遇到模型問題時，更有效地診斷並調整演算法以適應特定需求。

這將促進機器學習領域的創新和新演算法的發展。

當開發者對現有演算法有透徹的理解時，他們更有可能提出改進方案或設計全新的、更高效的模型。

使用 NumPy 從零開始實作 10 個核心 ML 演算法