SGOCR：空間 grounding OCR 管線與 V1 資料集

💡新開源資料集提升 VLM OCR grounding—程式碼 + V1 準備好用於模型 (38字)

⚡ 30-Second TL;DR

有什麼變化

產生空間 grounding OCR VQA 元組與中繼資料

為什麼重要

填補 VLM 資料集文字 grounding 缺口，提升 OCR 推理。開源加速 VLM 研究與微調。

下一步行動

下載 SGOCR v1 資料集，整合至 VLM 微調管線。

誰應關注：Researchers & Academics

AI-generated analysis for this event.

•SGOCR 專案採用了「自我修正代理迴圈」（Self-Correction Agentic Loop），透過多模型投票機制顯著降低了 OCR 在複雜佈局文件中的幻覺率。
•該資料集特別針對「空間關係推理」進行了標註，不僅包含文字內容，還包含文字框與頁面元素的相對座標，旨在解決現有 VLM 在細粒度空間理解上的不足。
•開發者利用 Karpathy 的「自動化研究」方法論，將整個資料處理管線容器化，允許社群在低算力環境下透過分散式節點進行資料擴增。

📊 競品分析▸ Show

特色	SGOCR	DocVQA (傳統)	LayoutLMv3
空間 Grounding	原生支援 (座標標註)	弱	中
驗證機制	多模型代理驗證	人工/啟發式	無
開源狀態	完全開源	部分開源	開源
適用場景	VLM 訓練資料生成	基準測試	文件理解任務

•管線架構：採用三階段處理流程，分別為 OCR 擷取（Nvidia nemotron-ocr-v2）、空間錨點對齊（Gemma4/Qwen3-VL）、以及最終一致性驗證（Gemini-2.5-flash）。
•資料格式：輸出格式採用擴充後的 JSONL，每個條目包含 OCR 原始文字、歸一化後的 Bounding Box 座標（[x0, y0, x1, y1]）、以及語義關聯標籤。
•代理迴圈邏輯：當 Gemini-2.5-flash 偵測到錨點與 OCR 文字不匹配時，會觸發回溯機制，重新調用 Qwen3-VL 進行局部區域的二次掃描。
•最佳化策略：針對長文件處理，實作了基於視窗滑動的切片技術，確保在處理高解析度掃描件時不會遺失空間資訊。