PixelRAG bypasses text parsing to improve RAG accuracy

•PixelRAG 是一個實驗性的研究專案，目前並非生產就緒，其 GitHub 儲存庫僅有少量星標 (40 個)，且缺乏正式文件和明確的生產部署路徑。
•該系統利用 Playwright 瀏覽器自動化函式庫，以固定的 875 像素視埠渲染網頁，並將其切割成 1024 像素高的圖塊。
•PixelRAG 採用經過截圖資料 LoRA 微調的 Qwen3-VL-Embedding-2B 模型，將每個圖像圖塊編碼為 2048 維向量，並儲存在 FAISS 近似最近鄰索引中。
•其核心優勢在於能夠處理傳統純文字爬蟲無法識別的內容，例如圖表、示意圖以及以圖像形式呈現的價格表。
•PixelRAG 可作為 Claude Code 的外掛程式 ('pixelbrowse skill') 整合，讓 Claude 能以截圖形式「查看」網頁內容，從而理解視覺結構。

渲染 (Rendering)：使用 Playwright 函式庫將網頁渲染為截圖，視埠固定為 875 像素寬，並切割成 1024 像素高的圖塊。Wikipedia 的 700 萬篇文章產生約 3000 萬個圖塊。
嵌入 (Embedding)：每個圖塊使用 Qwen3-VL-Embedding-2B 模型編碼為單一的 2048 維向量。該模型經過 LoRA 微調，以處理截圖資料。
索引 (Indexing)：向量儲存在 FAISS 近似最近鄰索引中。完整的 Wikipedia 索引約為 120 GB (fp16)，並支援增量更新。
檢索 (Retrieval)：根據查詢檢索相關的視覺區域（圖塊）。
閱讀器模型 (Reader Model)：將檢索到的圖塊直接輸入給視覺語言模型 (VLM) 閱讀器。
核心組件 (Core Components)：包含用於文件轉圖像圖塊的 pixelshot 命令，以及用於圖塊向量化、索引建立和服務的 pixelrag chunk、embed、build-index、index、serve 階段。
整合 (Integration)：可透過 pip install pixelrag 安裝，並作為 Claude Code 的 pixelbrowse 技能外掛程式使用。
限制 (Limitations)：查詢速度較慢（每次查詢 5-10 秒），難以處理動態內容或需要登入的頁面，且完全依賴 VLM 的品質，VLM 錯誤的偵錯也比文字解析錯誤更困難。

隨著視覺語言模型 (VLM) 的進步，像素原生搜尋將成為 HTML 解析的更可行替代方案。

PixelRAG 目前的慢速和對 VLM 品質的依賴是其主要限制，但隨著 VLM 變得更快、更便宜，這種「直接截圖」的方法可能最終會超越 HTML 解析的脆弱性。

結合文字和視覺檢索的混合式 RAG 系統將成為企業應用的標準配置。

PixelRAG 的作者建議將視覺檢索作為現有文字系統的增強層，這是一個實用的近期路徑，也反映了市場向混合式檢索的廣泛轉變。

2026-06

PixelRAG 研究論文發表，並由 VentureBeat 和 Digg 報導。

PixelRAG 跳過文字解析以提升 RAG 準確度