Efficient Adaptive Video Tokenisation via Temporal Redundancy Masking

•該方法建立在預訓練、凍結的連續影片 Tokenizer 骨幹之上，例如 Cosmos-Tokenize1-CV，這表明它利用了現有強大模型的潛在空間。
•此框架透過直接利用潛在空間中固有的時間冗餘，避免了對額外路由網路或學習型路由器的需求，簡化了推論流程。
•壓縮率是根據內容自然產生的，靜態場景會被更積極地壓縮，而高度動態的序列則會保留更多 Token，從而實現更智慧的資源分配。
•Latent Inpainting Transformer (LIT) 採用輕量級的分解式時空注意力架構，並結合 2D 旋轉位置嵌入，以高效地重建被丟棄的潛在位置。
•該框架在 TokenBench 和 DAVIS 等標準基準測試中進行了評估，這些是近期 Tokenizer 常用的基準，證明了其在業界標準下的競爭力。

📊 競品分析▸ Show

特性/基準	本研究方法 (透過時間冗餘遮蔽實現高效自適應影片 Token 化)	ElasticTok-CV	InfoTok
Token 化機制	無參數、基於潛在空間中每位置時間 L1 差異的遮蔽	連續式，透過迭代二值化搜尋或訓練神經迴歸器，基於先前幀自適應編碼	離散式，基於資訊理論 (Shannon 理論)，使用 ELBO 路由器和變壓器型自適應壓縮器
路由網路	無需額外的路由網路	需要迭代搜尋或訓練神經迴歸器	使用 ELBO-based 路由器
推論速度提升	相較於 ElasticTok-CV 提升 31 倍；相較於 InfoTok 提升 2 倍	-	相較於先前的啟發式自適應方法提升 11 倍 (但慢於本研究方法)
壓縮效率	內容驅動的壓縮率，靜態場景積極壓縮，動態序列保留更多 Token	可將長影片 Token 數量減少 2-5 倍	實現 2.3 倍壓縮率，在不影響效能的情況下節省 20% Token
重建機制	Latent Inpainting Transformer (LIT) 重建被丟棄的 Token	透過遮蔽技術丟棄隨機數量的 Token，並在推論時動態分配	變壓器型自適應壓縮器
訓練/推論成本	單次編碼器傳遞和單次 LIT 前向傳遞，高效	訓練時隨機遮蔽 Token，推論時進行迭代搜尋	最小的額外開銷

骨幹網路: 該方法建立在一個預訓練且凍結的連續影片 Tokenizer 骨幹之上，例如 Cosmos-Tokenize1-CV (4x8x8 配置)，其編碼器 $E : \mathbb{R}^{3 \times T \times H \times W} \to \mathbb{R}^{C \times t \times h \times w}$ 將輸入影片剪輯 $x$ 映射到連續潛在張量 $z$，其中 $C=16$ 個通道，$(t, h, w) = (\lceil T/4 \rceil, H/8, W/8)$。
Token 分配機制: 採用無參數的自適應 Token 分配機制，透過對潛在空間中每位置的時間 L1 差異應用固定閾值來識別並丟棄冗餘的潛在位置。這使得壓縮率能根據輸入內容自然產生。
Latent Inpainting Transformer (LIT): 這是一個輕量級的分解式時空注意力架構，用於重建被丟棄的潛在位置。它透過交錯的空間和時間注意力機制，並結合 2D 旋轉位置嵌入來實現。
推論流程: 推論管線高度高效，僅需單次編碼器傳遞和單次 LIT 前向傳遞，無需輔助路由網路。

影片處理效率將大幅提升，加速長影片 AI 模型發展。

透過顯著降低計算開銷，此方法使訓練和部署處理長影片序列的模型變得更可行，這對於進階影片理解和生成等應用至關重要。

無參數特性可簡化部署並減少對大量微調的需求。

由於無需學習型路由網路，該方法對特定訓練資料的依賴性較低，可能使其更具魯棒性且更容易整合到各種 AI 管線中。

內容自適應壓縮將促使多模態 AI 系統實現更智慧的資源分配。

根據影片複雜度動態調整 Token 使用量的能力，確保計算資源集中於資訊豐富的片段，從而優化下游任務的效能和效率。

2026-06-05

論文《Adaptive Tokenisation Via Temporal Redundancy Masking And Latent Inpainting》提交至 arXiv。

透過時間冗餘遮蔽實現高效自適應影片 Token 化