從頭打造擴散語言模型比想像簡單

🔑 增強重點摘要

• •此專案採用離散擴散模型（Discrete Diffusion Models）架構，與傳統基於連續空間的擴散模型（如 Stable Diffusion）不同，其核心在於處理離散的詞彙空間，通常涉及將詞彙映射至嵌入空間並在該空間進行噪聲添加與去噪。
• •該實作強調了「從頭開始（from scratch）」的教育價值，旨在展示擴散模型在處理序列數據（如文字）時的潛力，而非追求與 Transformer 架構在生產環境中的效能競爭。
• •此類小型化實驗反映了 AI 社群近期對於「小參數模型（Small Language Models, SLM）」與非 Transformer 架構（如狀態空間模型或擴散模型）在邊緣運算裝置上可行性的探索趨勢。

🛠️ 技術深入

• •模型架構：採用基於 Transformer 的去噪網絡（Denoising Network）作為擴散過程的核心組件，負責預測被掩碼（Masked）的詞彙。
• •訓練目標：使用交叉熵損失函數（Cross-Entropy Loss）來優化去噪過程，而非傳統擴散模型中常見的均方誤差（MSE）。
• •擴散過程：採用離散狀態空間的擴散策略，透過逐步增加掩碼（Masking）來破壞原始序列，並訓練模型從部分掩碼的序列中恢復原始文字。
• •硬體限制：利用 MacBook Air M2 的 Apple Silicon 架構進行訓練，顯示了該模型在低功耗、無專用 GPU 環境下的訓練效率。

🔮 前景展望AI analysis grounded in cited sources