聊天微調 Llama 3.1 引發隨機幻覺

🔑 增強重點摘要

• •微調 Llama 3.1 模型後，常見問題為正確回應後自動附加無關問題或陳述，如物流查詢後接連串挑戰提問。[1]
• •使用 SFTTrainer 與 chat template 格式化資料集時，若未正確處理 tokenizer.pad_token，可能導致生成不連貫或延伸無關內容。[1][2]
• •Unsloth 工具可改善 Llama 3.1 聊天模板應用與資料轉換，提升微調準確性，但仍需驗證 tokenized 資料一致性。[2][3]
• •Llama 3.1 官方後訓練包含多輪 SFT、RS 與 DPO，使用合成資料過濾以提升指令遵循，但個人微調易遺漏此步驟。[5]

🛠️ 技術深入

• •Llama 3.1 Instruct 模型需使用特定 chat template（如 'llama-3.1'），透過 tokenizer.apply_chat_template 將 user-assistant 對話格式化為 text 欄位，再以 SFTTrainer 訓練。[1][2]
• •常見錯誤包括未設定 tokenizer.pad_token = tokenizer.eos_token，以及資料預處理時未移除重複或確保格式一致，導致生成 glitched 或延伸回應。[1][4]
• •Unsloth 支援 LoRA 參數設定（如 rank、sequence length），並轉換 CSV 至 ShareGPT/HuggingFace 格式，提高微調效率與長上下文處理。[2][3]
• •後訓練流程：合成資料生成多輪 SFT，結合 Rejection Sampling (RS) 與 Direct Preference Optimization (DPO)，過濾高品質資料以強化對話連貫性。[5]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線