🤖Reddit r/MachineLearning•較早收集於 2h
Qwen2.5-0.5B 使用 GRPO 訓練 Reddit 摘要
💡Mac Mini 上廉價 GRPO RLHF 勝基線，小型 LLM 摘要達 64 token 展開（112字元）
⚡ 30-Second TL;DR
有什麼變化
PyTorch 自製 GRPO 實現
為什麼重要
展示在消費級 Apple 硬體上對微型 LLM 進行 RL 訓練的可行性，降低獨立研究者的 RLHF 門檻。具潛力擴展摘要微調而無需大型叢集。
下一步行動
在 Mac Mini 上使用 PyTorch 實作 GRPO，對你的小型摘要模型進行 RLHF。
誰應關注：Researchers & Academics
關鍵要點
- •PyTorch 自製 GRPO 實現
- •獎勵：length_penalty 及 ROUGE-L 品質分數
- •3 台 Mac Mini 使用 MLX 訓練 + vLLM 展開
- •平均 64 token 展開長度
- •DeepEval LLM 評估 4 個摘要維度
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/MachineLearning ↗