Search

Tag: #model-distillation31 results

LFM2.5 推出 Q4_0 蒸餾檢查點

Hugging Face Blog 宣布推出透過量化感知蒸餾產生的 LFM2.5 Q4_0 檢查點。這些檢查點旨在為評估高效推論的實務開發者提供量化版 LFM2.5 模型選項。

Hugging Face BlogOfficial•2d ago#quantization#model-distillation#efficient-inference

ByteDance 拒絕蒸餾外部模型

據報導，ByteDance 創辦人張一鳴決定要求 Seed 團隊不得蒸餾其他公司的模型輸出，包括開放權重模型。這項政策表面上是出於長期基礎研究與 AGI 目標，但 TikTok 面臨的監管壓力可能也發揮了部分作用。

虎嗅Media•4d ago#model-distillation#synthetic-data#data-provenance

阿里巴巴因安全風險禁止員工使用 Claude Code

阿里巴巴已禁止員工使用 Anthropic 的 Claude Code 及相關模型，理由是擔心潛在的後門與數據收集風險。此舉發生在 Anthropic 指控阿里巴巴進行工業級模型蒸餾攻擊之後。

钛媒体Media•Jul 3#security#ai-policy#model-distillation

加密思維鏈重放暴露隱藏推理

研究人員證明，前沿模型的加密思維鏈區塊可被重放至較弱模型，並以明文重建。此漏洞可能以低成本促成模型蒸餾、隱私洩露、有害內容曝光與提示注入發現。

虎嗅Media•Aug 12#chain-of-thought#model-security#privacy-leakage

將遺傳特徵蒸餾至基礎模型的研究

研究人員證實，透過教師模型的輸出對基礎模型進行微調，會導致模型繼承特定的行為特徵（如負面情緒或審查機制），即使過濾掉明確提及這些特徵的內容也無法完全阻止。此研究提供了一種無需大規模 SFT 流程即可重現這些現象的方法。

AI Alignment ForumCommunity•Jul 14#model-distillation#alignment#fine-tuning

PMD：透過程序記憶蒸餾實現自我改進的語言模型

程序記憶蒸餾（PMD）是一種新的訓練框架，透過從模型輸出中提取跨情境模式來建立可重複使用的程序記憶。這種記憶作為訓練支架，使模型能夠內化策略並提升效能，且在推論階段無需額外記憶。

ArXiv AIResearch•Jul 3#self-improvement#model-distillation#reasoning

ATOD：用於優化自主代理訓練的混合蒸餾技術

ATOD 結合了策略內蒸餾與強化學習，突破了小型語言模型代理的效能上限。透過退火排程與回合級重權重機制，該方法在長程互動任務中展現了更高的成功率。

ArXiv AIResearch•Jun 29#agentic-ai#model-distillation#llm-optimization