Stanford CS25 Transformers 課程開放

🔑 增強重點摘要

• •CS25 課程由 Chip Huyen 與 Percy Liang 共同創辦，旨在填補學術界與工業界在大型語言模型（LLM）實踐應用上的鴻溝。
• •課程不僅止於理論，強調「以人為本」的 AI 開發，包含如何評估模型性能、處理數據集偏見以及部署生產級系統的實戰經驗。
• •該課程已成為全球 AI 從業者的重要知識庫，其教學大綱與閱讀清單常被視為 LLM 領域的行業標準參考指標。

🛠️ 技術深入

• •課程核心架構圍繞 Transformer 的變體與優化，包括但不限於 FlashAttention、混合專家模型（MoE）以及量化技術（Quantization）。
• •深入探討 LLM 的訓練流程，涵蓋從預訓練（Pre-training）、監督式微調（SFT）到基於人類回饋的強化學習（RLHF）的完整管線。
• •實作環節強調使用 PyTorch 與 Hugging Face 生態系統進行模型微調與推論加速，並探討如何利用向量資料庫（Vector Databases）建構檢索增強生成（RAG）系統。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線