視覺語言模型臨床推理的正式驗證

🔑 增強重點摘要

• •系統評估顯示VLM在放射學影像診斷準確率僅13.9%至20.7%，幻覺率高達74.4%，跨模型差異顯著（51.7–82.8%）。[1]
• •John Snow Labs於2025年5月推出Medical VLM-24B，訓練於500萬醫療影像及140萬臨床文件，在OpenMed基準達82.9%平均分，超越通用VLM 13個百分點。[2]
• •CSIRO研究顯示，VLM整合病患急診記錄（如主訴、生命徵象）可提升胸部X光報告準確性，正邁向前瞻性試驗。[3]
• •CVPR 2026工作坊強調VLM需具鏈式思考診斷、多模態 grounding及機率推理，以提升醫療影像解釋可信度。[4]

🛠️ 技術深入

• •引入臨床可解釋規則引導偏好優化（rule-guided DPO），整合神經驗證器評估規則滿足度，確保VLM輸出符合現有、缺失或嚴重度等臨床謂詞；在MIMIC-CXR-JPG及IU-Xray基準上提升事實準確性及報告品質。[5]
• •Medical VLM-24B涵蓋X光、MRI、病理切片等多模態，支援斷言偵測（Present、Absent、Possible等六類），優化放射報告決策。[2]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線