KAIST's Upsample Anything optimizes on-device AI vision

•此技術由韓國科學技術院 (KAIST) 教授 Changick Kim 領導的研究團隊與麻省理工學院 (MIT) 和微軟 (Microsoft) 的研究人員合作開發。
•「Upsample Anything」是一種無需訓練的升採樣機制，能夠從低解析度輸入中重建高解析度特徵，無需額外資料訓練或針對新環境進行再訓練。
•該研究在 CVPR 2026 全球會議上被接受為論文，並因其計算資源的有效利用而榮獲「CVPR Compute Gold Star」獎，同時也因研究過程的透明度和可重現性被選為「Transparency Champion」。
•該方法不僅能提升2D特徵解析度，還能無需再訓練地泛化到其他像素級或體素級訊號，例如深度、分割甚至3D表示。
•「Upsample Anything」在標準語義分割 (COCO, PASCAL-VOC, ADE20K) 和深度估計 (NYUv2, Middlebury) 資料集上展現了最先進的性能，尤其是在以幾何為中心的任務中表現突出。

📊 競品分析▸ Show

特性/基準	Upsample Anything	FeatUp	LoftUp	JAFAR	AnyUp
訓練要求	無需訓練 (測試時優化)	需要資料集級訓練	需要資料集級訓練	需要資料集級訓練	需要資料集級訓練
記憶體效率	GPU記憶體效率提高達16倍	未明確提及	未明確提及	未明確提及	未明確提及
處理速度	224x224圖像約0.4秒	未明確提及	未明確提及	未明確提及	未明確提及
泛化能力	適用於特徵、深度、分割、3D訊號	僅支援2D特徵	存在領域差距，難以泛化	僅支援2D特徵	通用特徵升採樣
核心機制	像素級各向異性高斯核，結合空間和範圍線索	將聯合雙邊升採樣推廣到高維特徵空間	未明確提及	未明確提及	使用自適應核和注意力機制
Cityscapes (mIoU)	57.92 (特徵升採樣)	57.92	57.89	57.91	57.93
Cityscapes (Acc)	90.63 (特徵升採樣)	90.61	90.60	90.58	90.62

「Upsample Anything」的核心演算法流程包含兩個階段：(1) 透過重建高解析度引導訊號（通常是RGB圖像）來進行像素級各向異性高斯參數的測試時優化 (TTO)；(2) 將學習到的散射核應用於低解析度特徵、深度或機率圖，以生成高解析度輸出。
該方法透過單一圖像的每圖像優化來學習一個結合空間和範圍線索的各向異性高斯核，有效地彌合了高斯散射 (Gaussian Splatting) 和聯合雙邊升採樣 (Joint Bilateral Upsampling) 之間的差距。
該技術無需額外資料訓練，而是透過利用單一輸入圖像中固有的邊緣和結構資訊來即時適應。
實作上，該框架完全使用 PyTorch 編寫，不涉及任何分塊或分片處理。
整個過程首先將輸入圖像降採樣，然後透過測試時優化學習像素級各向異性核參數。這些參數隨後引導聯合雙邊升採樣過程，以精確重建高解析度特徵圖。
儘管優化僅由顏色重建引導，但學習到的核隱式地捕捉了幾何和語義資訊，使其能夠泛化到2D和3D領域的其他像素級或體素級訊號。

行動和嵌入式AI將廣泛採用

其高記憶體效率和即時性能使其成為智慧型手機和人形機器人等資源受限設備的理想選擇，將加速裝置端AI的商業化。

自主系統的能力將顯著增強

以最少資源精確識別小物體和精細結構的能力，將提高自動駕駛系統的安全性和導航精準度。

加速下一代AI領域的發展

其通用、無需訓練的特性以及跨模態（深度、分割、3D）的泛化能力，將簡化各種AI應用的部署和客製化。

2025-11-20

論文「Upsample Anything: A Simple and Hard to Beat Baseline for Feature Upsampling」首次在 arXiv 上發表。

2026-06-07

該研究在 CVPR 2026 會議上進行發表。

2026-06-16

KAIST 宣布與麻省理工學院和微軟合作開發「Upsample Anything」技術。

2026-06-16

該研究在 CVPR 2026 上榮獲「CVPR Compute Gold Star」和「Transparency Champion」獎項。

KAIST 推出 Upsample Anything 優化裝置端 AI 視覺