廉價 LLM 在 OCR 基準測試中表現出色

🔑 增強重點摘要

• •該基準測試框架（Arbitr）特別強調了針對 OCR 任務的『幻覺率』監控，這對於金融與法律文件自動化處理至關重要，因為傳統 OCR 引擎通常不會產生幻覺，但 LLM 卻會。
• •研究發現，模型在處理複雜表格結構時的表現與其參數規模並無絕對正相關，反而與模型在預訓練階段接觸過的結構化數據（如 HTML/Markdown）有顯著關聯。
• •該項目引入了『每成功成本』（Cost per Successful Extraction）指標，將模型失敗後的重試成本與 API 延遲納入考量，這改變了企業選擇 OCR 模型時僅看單次 API 呼叫價格的評估邏輯。

🛠️ 技術深入

• •測試框架採用了多階段驗證流程：首先進行圖像預處理（去噪、旋轉校正），隨後將圖像切片輸入 LLM，最後通過 JSON Schema 強制輸出格式以確保解析一致性。
• •基準測試數據集包含 42 份標準化文件，涵蓋發票、收據、身份證件及複雜的財務報表，並針對每個欄位設定了『語義準確度』與『格式準確度』雙重評分機制。
• •評估指標整合了延遲（Latency）與吞吐量（Throughput），特別針對廉價模型（如 GPT-4o-mini 或 Claude 3 Haiku）在並發請求下的穩定性進行了壓力測試。

🔮 前景展望AI analysis grounded in cited sources