4.5B ColQwen3.5-v1 於 ViDoRe V1 創 SOTA

🔑 增強重點摘要

• •Tomoro ColQwen3-8B 模型在 ViDoRe V3 基準上達到 nDCG@10 63.54，領先第二名 3%，並在 V2 英文版平均分 0.6772 排名第一[1][4]。
• •ColQwen 系列先前版本如 colqwen2-v1.0 在 ViDoRe V1 達到 nDCG@5 89.3%，顯示從 Qwen2 到 Qwen3.5 的迭代進展[5]。
• •ViDoRe V3 引入 Recall@k、mAP 及視覺 grounding 指標如 IoU 和 Dice/F1，即使頂尖模型在多跳查詢上 nDCG@10 仍低於 65%[3]。

🛠️ 技術深入

• •採用 ColPali 晚期互動（late interaction）架構，基於 Qwen3-VL 產生平均 773 個視覺嵌入 per ViDoRe V3 頁面，支持動態解析度與 768 圖像 patch 訓練[2][5]。
• •訓練技巧包括正向感知硬負樣本挖掘（positive-aware hard-negative mining）、基於叢集的資料取樣、跨語言翻譯及模型合併（model merging，提升 0.8–1.5%）[2][3]。
• •雙向注意力 VLM 骨幹如 Qwen3-VL，提升 ViDoRe 效能；批次大小從 32 擴至 256 以更強 GPU 訓練[2][5]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線