🔬
Wikipedia 面臨來自 AI 與錯誤資訊的生存威脅
Wikipedia 正處於一個複雜的環境中，AI 生成內容、政治兩極化以及外國影響力行動正威脅著其知識庫的完整性。該組織正透過新領導層來強化其提供免費、可靠資訊的使命。
Search
Tag: #llm-training33 results
優化 Transformer 模型以進行低精度訓練
本文探討了優化 Transformer 架構的技術，旨在提高訓練效率。內容強調低精度訓練如何減少 GPU 資源消耗並加速實驗迭代週期。
東京大學松尾研免費公開 LLM 基礎課程教材
東京大學松尾・岩澤研究室現正限時免費公開「大規模語言模型 (LLM) 講座 2025 基礎編」講義資料。該課程系統性地涵蓋了從 LLM 基礎知識到最新技術趨勢的完整內容。
開發數據探針以深入理解 LLM 效能
本篇立場論文提出了「數據探針」（data probes）的概念，透過隨機過程生成的合成序列，系統性地分析特定數據特徵如何影響 LLM 行為。此方法旨在取代經驗法則，為理解模型訓練與推理提供更具原則性的框架。
Megatron 推進新優化器加速 LLM 訓練
NVIDIA Megatron 整合如 Shampoo 和 Muon 等新興高階優化器，加速 LLM 訓練。這些方法應用於 Kimi K2 和 GLM-5 等頂尖開源模型，延續神經網路十年的成功。此進展提升領先大型語言模型的訓練效率。
🤖
LLMs 反向學習，擴展假設有界
Reddit 討論稱 LLMs 在訓練期間反向學習特徵。主張這限制了擴展假設，挑戰無止境計算擴展。在 r/MachineLearning 社群引發辯論。
IPA 以數據空間因應 LLM「枯竭元年」
IPA 預測 2026 年為 LLM 訓練「資料枯竭元年」，因高品質資料短缺。他們公開成果物，以實現「數據空間」，促進跨國界與組織的資料共享。此舉針對企業閒置資料，推動 AI 進展。
卡爾帕西：AI一晚優化數月GPT-2調參細節
特斯拉前AI負責人安德里杰·卡爾帕西手動調校GPT-2數月，一個自主智能體僅一晚即找出人類忽略的精細參數及交互作用。他建議研究人員在有客觀指標的領域抽身，讓工具自動化流程。此進展難以轉移至難量化領域。
🤖
深入解析用於 LLM 訓練的 RL 與 OPD
一部影片教學解析大型語言模型訓練中 on-policy distillation（OPD）與 GRPO 類強化學習方法背後的數學與程式碼。內容也將這些技術與預訓練及監督式微調串聯，並參考 Kimi、DeepSeek、Qwen 與 GLM 技術報告中的方法。
🔬
如何獲取用於研究的 Books3 資料集
來自 MachineLearning 子版塊關於 Books3 資料集當前可用性與獲取方式的詢問。該資料集是目前 AI 版權訴訟中的核心爭議點。