🔬
無需模型權重，從 LLM Logits 恢復原始微調數據
Contrastive Decoding Diffing (CDD) 是一種新的灰盒方法，僅需存取 Logits 即可從微調後的 LLM 中恢復原始訓練數據。該方法無需模型權重或複雜校準，效能優於現有的白盒方法 Activation Difference Lens (ADL)。
Search
Tag: #finetuning6 results
Qwen3 TTS 本地即時運作出色
用戶在本地即時運行 Qwen3 TTS，用於富有表現力的 VTuber 管線。實作串流、llama.cpp 支援、CTC 對齊，並微調自訂聲音。分享 Persona Engine GitHub 儲存庫。
使用 Sentence Transformers 訓練多模態嵌入模型
Hugging Face 部落格詳述使用 Sentence Transformers 訓練與微調多模態嵌入及重排序模型。涵蓋文字與影像處理，用於進階檢索任務。開發者獲得開源工具建構優異 RAG 系統。
🔬
Claude Opus 8.7k 合成微調資料集推出
來自 Claude Opus 4.6/4.7 的全新合成微調資料集，含 8,706 個推理範例涵蓋 28 類別。提供 instruct、roleplay 和 code 分割；總計 17M 權重元。Hugging Face 上架並附詳細統計。
🤖
聊天微調 Llama 3.1 引發隨機幻覺
一位新手使用 WhatsApp 聊天記錄微調 Llama 3.1 3B-Instruct 模型，希望模仿個人打字風格，但模型會無端提及過去隨機事件，如數學考試。對簡單問候，它回覆無關查詢。使用者尋求修正建議。
3 美元微調大幅提升 Qwen 推理
用戶以 3 美元、10 分鐘微調 Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF，使用原數據集。結果：推理更乾淨、無冗餘，準確度維持或提升，對比有問題的原版。強調新手輕鬆微調潛力。