ArcFace 嵌入量化至 16 位 pgvector HALFVEC？

🔑 增強重點摘要

• •pgvector 的 halfvec 類型在 Postgres 內部實作上直接對應於 IEEE 754 半精度浮點格式（binary16），這不僅減少了儲存空間，還能顯著提升 SIMD 指令集在計算餘弦相似度時的處理效率。
• •ArcFace 嵌入向量通常具有高度的歸一化特性（L2 Norm = 1），這種分佈特性使得其對量化誤差具有極高的魯棒性，因此從 float32 降至 float16 對於大多數人臉識別任務的 Top-1 準確率影響通常小於 0.1%。
• •除了 TOAST 帶來的 I/O 開銷外，使用 halfvec 還能增加 Postgres 頁面（Page）中可容納的向量數量，從而提高索引（如 HNSW 或 IVFFlat）在記憶體中的緩存命中率，進一步降低查詢延遲。

🛠️ 技術深入

• •Postgres TOAST 門檻預設為 2KB，512 維 float32 向量佔用 2048 位元組（512 * 4），剛好觸發 TOAST 機制，導致額外的指標存取開銷。
• •pgvector 的 halfvec 類型在儲存時佔用 1024 位元組（512 * 2），符合 Postgres 內嵌儲存（Inline Storage）的條件，避免了 TOAST 表的額外 I/O。
• •ArcFace 模型輸出的特徵向量在訓練階段通常經過歸一化，這意味著向量分佈在單位超球面上，這種幾何特性使得低精度量化後的距離度量（如餘弦相似度）與原始高精度向量保持高度一致性。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線