代理記憶11倍令牌縮減
結構化蒸餾將個人化AI代理對話歷史壓縮成緊湊檢索結構，每交換從371令牌減至38令牌，實現11倍縮減。在14k交換評估中，保留96%逐字召回率，跨層搜尋超越基準。開源實作發布。
Search
Tag: #distillation27 results
PACED：學生能力邊界蒸餾
PACED 透過 Beta 加權通過率，針對學生模型的最近發展區優化 LLM 蒸餾，避免在已掌握或遙不可及問題上浪費計算資源。它證明了加權的 SNR 最佳性與 minimax 穩健性。實證結果顯示在前向 KL、自蒸餾及兩階段流程中，在推理基準上獲得提升。
Jeff Dean：開發者即將人均50個AI智能體
Jeff Dean 預測未來每位開發者將管理 50 個智能體，寫需求將成為核心技能。他揭露模型蒸餾是 Google Flash 模型突破的關鍵。
「蒸餾事件」之後，Anthropic的屠刀伸向金融行業
「蒸餾事件」之後，Anthropic將屠刀伸向金融行業。Anthropic 48 小時四連發，金融行業「山雨欲來」。
Anthropic，臉都不要了
Anthropic 指控 DeepSeek、月之暗面、MiniMax 用 2.4 萬假帳號與 Claude 互動 1600 萬次蒸餾模型。文章揭其雙標，蒸餾為行業常態且 Anthropic 涉版權訴訟。中國 Qwen 3.5 等登 HF 榜首。
💼
Anthropic 指控中國公司竊取 Claude
Anthropic 發現三家中國 AI 公司—DeepSeek、Moonshot AI、MiniMax—使用蒸餾技術從其 Claude 聊天機器人提取能力。公司稱這是工業規模的知識產權盜竊。OpenAI 上個月提出類似指控。
🔬
在 LoRA 適配器上使用 EMA 進行自我蒸餾
本討論探討了將指數移動平均 (EMA) 應用於 LoRA 適配器以作為自我教師的可行性。目標是為可訓練的適配器生成軟標籤，類似於策略內自我蒸餾技術。
🤖
Savant Commander 48B：12個蒸餾MOE模型
Savant Commander 48B是基於Qwen3的自訂4x12B MOE，融合Claude、Gemini、OpenAI、DeepSeek等頂尖蒸餾模型，並具手寫路由。使用者可透過提示控制啟動並輕鬆測試差異。Hugging Face上有GGUF常規版與Heretic無審查版。
🤖
無審查 Qwen 3.5 9B 從 Claude Opus 蒸餾版
社群創作者發布全無審查的 9B Qwen 模型，將 HauhauCS 的無審查張量與 Jackrong 的 Claude Opus 推理蒸餾版合併。消除拒絕回應，提升角色扮演與圖像提示的創造力，透過自訂聊天模板停用思考功能。GGUF 版本針對 RTX 3060 在 LM Studio 優化。