微軟OPCD消除冗長提示不損效能

#context-distillation#prompt-compressionopcdmicrosoftopcd

💡將企業長提示蒸餾至LLM—不損效能即減延遲與成本（微軟研究）（68字元）

⚡ 30-Second TL;DR

有什麼變化

OPCD將企業知識與指令直接蒸餾至模型權重

為什麼重要

企業可部署更快、更廉價的客製LLM，無需重複長提示。此法將客製化從推理時移至訓練時，實現可擴展AI應用。解決生產LLM使用的關鍵痛點。

下一步行動

閱讀微軟研究OPCD論文，並使用其框架將長提示蒸餾至基底LLM。

誰應關注：Enterprise & Security Teams

背景與延伸：來自公開資料，非原文內容。引用 6 個來源。

•OPCD透過最小化反向Kullback-Leibler散度（reverse KL divergence）來訓練學生模型模仿教師模型，避免傳統off-policy方法的曝光偏差（exposure bias）。[1][2]
•OPCD在數學推理、文字遊戲及領域特定任務上超越基線方法，同時更好地保留分布外（OOD）能力，並支援跨模型大小蒸餾。[1][2]
•OPCD應用於經驗知識蒸餾（experiential knowledge distillation），讓模型從歷史解決軌跡中提取並鞏固可轉移知識。[1][2]

•OPCD將序列級散度分解為token級散度，損失函數定義為最小化學生模型自身生成軌跡與上下文條件教師模型之間的反向KL散度。[1][2]
•在Frozen Lake基準上，Qwen3-1.7B模型經OPCD經驗知識整合後，測試準確率達26.5±6.4%，OOD任務效能達67.1±0.5%，優於off-policy基線。[2]
•OPCD橋接on-policy蒸餾與上下文蒸餾，學生模型π_θ在無上下文推論時複製教師π_teacher的行為。[1]

OPCD將加速小型LLM在企業中的部署

透過跨大小蒸餾，小型學生模型可從大型教師內化知識，大幅降低推理成本與延遲。[1]

OPCD優於off-policy方法在OOD任務保留

on-policy訓練使用自身生成軌跡最小化曝光偏差，IF-eval基準顯示其更好地保存通用指令遵循能力。[2][3]

2026-02-12

arXiv發布OPCD論文，由Tianzhu Ye、Li Dong等人提出On-Policy Context Distillation框架。

Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.

AI 週報

閱讀本週精選 AI 大事摘要 →

同主題

探索 #context-distillation

同產品

更多關於 opcd

同來源

最新來自 VentureBeat

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： VentureBeat ↗

這是摘要，不是原文。去看原站，或訂閱每週簡報。

每週 AI 簡報

每週一封，可隨時退訂。