NVIDIA NeMo Retriever 代理式檢索管道推出

🔑 增強重點摘要

• •NeMo Retriever 提供 50% 更高的準確度、15 倍更快的多模態 PDF 提取，以及 35 倍更佳的儲存效率[1][2]。
• •支援多語言及跨語言檢索，並在 ViDoRe V1、V2、MTEB 及 MMTEB VisualDocumentRetrieval 等三大視覺文件檢索排行榜上取得第一名[2]。
• •整合 NVIDIA NIM 微服務，包括基於 VLM 的 OCR（如 C-RADIO 視覺特徵提取與 mBART 文字生成），並支援 Milvus 向量資料庫與 cuVS 加速索引[1][3]。
• •具備監控、觀測性工具、NeMo Guardrails 護欄，以及與 OpenAI 相容 API 的可分解架構，便於企業部署[1][3]。

🛠️ 技術深入

• •包含多模態資料提取微服務，使用自迴歸 VLM 進行文字與表格提取，採用 C-RADIO 視覺特徵提取及 mBART 文字生成，優化下游檢索[1]。
• •嵌入模型支援 NV-EmbedQA-E5-v5、NV-EmbedQA-Mistral7B-v2 及 Snowflake-Arctic-Embed-L，使用 CAGRA (GPU) 或 HNSW (CPU) 索引，目標召回率 98%[1][6]。
• •檢索流程：向量相似性搜尋後，由 NeMo Retriever 重排序 NIM 提升準確度，再交由 LLM NIM 生成回應[2]。
• •GPU 加速索引達 7 倍吞吐量，動態長度與長上下文支援減少 35 倍儲存需求[1]。
• •模組化設計：可單獨部署提取、嵌入、索引、重排序等微服務，支援 NVIDIA NIM 及自訂模型整合[3][6]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線