透過相似度空間比較 Embedding Models

💡要更換 embedding model？了解如何重新校準相似度門檻，避免憑直覺猜測。

⚡ 30-Second TL;DR

有什麼變化

透過 synthetic question–content pair 的相似度分數比較不同 embedding models。

為什麼重要

Embedding model 遷移經常會使手動調整的相似度門檻失效。此方法有機會讓不同模型之間的檢索評估更具可比性，並減少升級 RAG 系統時的反覆試錯。

下一步行動

建立一組共用的 synthetic questions 與內容區塊評估集，先繪製現有及替代 embedding models 的分數分布，再調整檢索門檻。

誰應關注：Researchers & Academics

•透過 synthetic question–content pair 的相似度分數比較不同 embedding models。
•不同維度的 Titan models 呈現相近的相似度分數行為。
•Titan 與 Ada 的分數範圍不同，且呈現非線性關係。
•更換 embedding model 時，此方法可協助校準檢索門檻。
•相關方法發表於論文〈Similarity Spaces across Embedding Models with Synthetic Query Probing〉。

AI-generated analysis for this event.

•Synthetic Query Probing (SQP) 透過生成合成查詢來建立基準，解決了不同 Embedding 模型在向量空間分佈（如餘弦相似度分佈）不一致導致的檢索效能差異問題。
•研究指出，不同模型在處理相同語義內容時，其相似度分數的機率密度函數（PDF）存在顯著偏移，這解釋了為何直接遷移模型時，固定的相似度閾值（Threshold）會失效。
•該方法不僅適用於比較 Titan 與 Ada，還能應用於評估開源模型（如 BERT 或 Llama-based embeddings）與閉源 API 模型之間的空間對齊程度。
•透過 SQP 建立的映射函數（Mapping Function）可以作為校準層，在不重新索引（Re-indexing）整個向量資料庫的情況下，協助開發者平滑過渡到新的 Embedding 模型。
•此研究強調了向量空間的「非線性扭曲」現象，即模型間的相似度關係並非簡單的線性縮放，這對於構建多模型混合檢索系統（Hybrid Retrieval）具有重要參考價值。

📊 競品分析▸ Show

比較維度	Synthetic Query Probing (SQP)	傳統向量評估 (MTEB)	領域適應性微調 (Fine-tuning)
核心目標	跨模型相似度空間校準	模型通用檢索能力排名	提升特定領域檢索準確度
實作複雜度	中等（需生成合成查詢）	低（直接使用現成基準）	高（需訓練資料與算力）
主要優勢	解決遷移時的閾值失效問題	提供標準化效能指標	針對性優化檢索品質
適用場景	系統升級、模型替換	模型選型、初步篩選	垂直領域應用開發

核心機制：利用 LLM 生成針對特定文檔區塊的合成查詢（Synthetic Queries），並計算 Query-Document 對的相似度分佈。
數學建模：將不同模型的相似度分數視為隨機變數，透過分位數回歸（Quantile Regression）或非參數映射來建立模型 A 到模型 B 的分數轉換函數。
空間對齊：識別出不同模型在處理高相似度（相關）與低相似度（不相關）樣本時的邊界行為差異，特別是針對長尾分佈的處理能力。
實作流程：
1. 從語料庫中抽樣並生成合成查詢。
2. 使用目標模型計算相似度分數矩陣。
3. 擬合轉換函數以對齊分數分佈。
4. 根據校準後的閾值更新檢索系統配置。