🔬
透過對比式目標 SFT 映射因果依賴關係
一位實驗者提出使用對比式目標 SFT 作為機械可解釋性方法，以映射 31B 模型內的因果依賴圖。透過消融特定的能力電路，研究者旨在識別模型內不同維度如何相互作用與影響。
Search
Tag: #model-training40 results
Meta 利用員工工作數據訓練內部 AI 模型
Meta 執行長 Mark Zuckerberg 透露，公司正利用內部員工的工作數據來訓練 AI 模型。他認為觀察高素質員工的工作方式，能比依賴外包人員更有效地提升 AI 在程式設計與任務執行上的能力。
在進行 RL 訓練前，請先修復 SFT 的問題
本文警告許多多模態大模型因開發者急於進入強化學習（RL）階段，而忽略了監督式微調（SFT）的基礎問題，導致模型在「帶傷」狀態下訓練。文章強調必須先解決 SFT 階段的數據與對齊問題，以確保模型品質。
Anthropic 讓 Claude 接受 20 小時精神治療
Anthropic 讓其 Claude AI 模型接受 20 小時的精神治療，以提升其心理穩定性。產生的 Mythos 模型被描述為他們訓練過的最心理穩定的模型。此方法旨在使 AI 互動更可靠且不易出錯。
打破代碼大模型訓練瓶頸：MicroCoder將算法數據框架訓練經驗升級
MicroCoder 使用34條關鍵經驗升級代碼大模型的訓練流程。它解決演算法、數據與框架優化的現代瓶頸。此舉針對擴展代碼LLM的核心挑戰。
PRX 第3部分 — 24小時訓練文字轉圖像模型！
Hugging Face 部落格的 PRX 第3部分介紹在僅24小時內從頭訓練文字轉圖像模型。它強調使用開源工具的快速模型開發高效技巧。此舉讓生成式 AI 實驗加速。
OpenAI 暫停新模型訓練
文章報導 OpenAI 緊急暫停新模型訓練，並將此決定置於 AI 能力提升所帶來風險日增的背景下。文章未提供具體模型名稱、時間表或暫停訓練的技術原因。
📰
大語言模型正在演變為大程式設計模型
本文探討大語言模型的語言能力是否隨迭代而提升，並指出模型重心正逐漸轉向程式設計與邏輯處理能力，顯示出「大程式設計模型」的發展趨勢。
🔬
在非語言數據上訓練 GPT 風格模型
一位研究人員在非語言序列上訓練 Transformer-decoder 模型時遇到困難，指出模型無法學習自回歸行為，且常卡在生成單一 token 的問題上。
優化模型訓練中的 GPU 使用率
使用者訓練 Zipformer 模型時，在 Windows 工作管理員顯示 GPU 使用率 100%，但 Weights & Biases 圖表顯示偏低。儘管使用 WebDataset 並調整資料載入器，仍有差異。尋求 icefall Librispeech 設定的瓶頸建議。