☁️最新收集於 24m

在資料所在之處建構 AI 代理

在資料所在之處建構 AI 代理
PostLinkedIn
☁️閱讀原文: AWS Machine Learning Blog

💡在 RAG 堆疊加入獨立向量資料庫前,先比較六種 AWS 原生向量選項。

⚡ 30-Second TL;DR

有什麼變化

在已存放企業資料的資料庫與儲存服務中直接提供向量搜尋

為什麼重要

讓向量索引貼近來源資料,有助於降低檢索增強生成應用的架構複雜度與同步負擔。廣泛的服務組合也提供更多選擇,但團隊仍需仔細評估規模、延遲、查詢功能與營運成本。

下一步行動

將 RAG 資料對應至目前已儲存資料的 AWS 服務,並以延遲與相關性為指標,將原生向量搜尋與現有檢索堆疊進行基準測試。

誰應關注:Developers & AI Engineers

關鍵要點

  • 在已存放企業資料的資料庫與儲存服務中直接提供向量搜尋
  • 避免部署獨立向量資料庫及相關資料遷移工作
  • 涵蓋六項專用服務、選型框架與客戶案例

🧠 深度解析

背景與延伸:來自公開資料,非原文內容。引用 24 個來源。

🔑 增強重點摘要

  • AWS 已將向量搜尋功能整合至多項核心服務中,包括 Amazon Aurora (透過 pgvector 擴充功能)、Amazon DynamoDB、Amazon OpenSearch Service、Amazon S3 Vectors、Amazon Neptune Analytics 以及 Amazon ElastiCache (支援 Valkey),提供多樣化的選擇以滿足不同工作負載需求。
  • Amazon DynamoDB 的原生向量搜尋功能支援高達 4096 維度,並提供歐幾里得距離、餘弦距離和點積距離函數,以及內聯篩選功能,可實現個位數毫秒級延遲和超過 99% 的召回率,並能擴展至數兆個向量。
  • Amazon S3 Vectors 是首個提供原生向量儲存和查詢 API 的雲端物件儲存服務,旨在大幅簡化架構並降低成本,特別是對於大規模、長期儲存的向量資料,可將上傳、儲存和查詢成本降低高達 90%。
  • Amazon OpenSearch Service 支援 k-NN (k 近鄰) 和近似 k-NN 搜尋,採用 Hierarchical Navigable Small Worlds (HNSW) 和 Inverted File System (IVF) 等演算法,並可整合 Amazon Bedrock、Amazon SageMaker AI 及 Hugging Face 模型來生成嵌入。
  • 這些整合式向量搜尋能力與 Amazon Bedrock 的知識庫和代理程式原生整合,有助於建構檢索增強生成 (RAG) 應用程式,有效降低大型語言模型 (LLM) 的「幻覺」風險並優化 Token 成本。
📊 競品分析▸ Show

AWS 透過將向量搜尋能力直接整合到其現有資料庫和儲存服務中,旨在簡化 AI 應用程式的開發,並降低對獨立向量資料庫的依賴。此策略與其他雲端供應商和專用向量資料庫提供商形成競爭。

特性/供應商AWS 整合式向量搜尋 (例如 DynamoDB, Aurora, OpenSearch, S3 Vectors)Google Cloud (Vertex AI Vector Search)Azure (Azure Cosmos DB for PostgreSQL with pgvector, Azure AI Search)專用向量資料庫 (例如 Pinecone, Weaviate, Milvus)
部署模式直接內建於現有資料庫/儲存服務,無需獨立部署。託管服務,通常作為獨立服務或與資料庫整合。託管服務,可與 PostgreSQL 整合或作為獨立搜尋服務。獨立部署或託管服務,專為向量搜尋設計。
資料管理向量嵌入與應用程式資料共存,消除資料同步需求。需將資料匯入或同步至向量搜尋服務。需將資料匯入或同步。需將資料匯入或同步,並管理資料生命週期。
擴展性自動擴展,例如 DynamoDB 可擴展至數兆個向量。高度可擴展,支援大規模向量索引。高度可擴展。高度可擴展,針對向量資料優化。
延遲個位數毫秒級延遲 (例如 DynamoDB),S3 Vectors 冷查詢次秒級,暖查詢低至 100ms。低延遲。低延遲。通常為低延遲。
成本效益透過避免獨立基礎設施和資料遷移,降低總體擁有成本,S3 Vectors 可降低高達 90% 成本。依使用量計費,可能涉及資料傳輸成本。依使用量計費。通常按向量數量、查詢量和儲存空間計費,可能較高。
管理複雜度無伺服器、全託管,無需管理基礎設施。託管服務,管理負擔較低。託管服務,管理負擔較低。需管理獨立服務,可能涉及更多營運開銷。
主要優勢簡化 AI 應用架構,降低資料冗餘和同步複雜性,直接利用現有資料。專為向量搜尋優化,提供強大搜尋功能。整合現有 PostgreSQL 生態系統,或提供企業級搜尋。專注於向量搜尋性能和功能,提供先進演算法。

🛠️ 技術深入

  • Amazon Aurora PostgreSQL: 透過 pgvector 開源擴充功能實現向量搜尋。pgvector 0.8.0 版本改進了 PostgreSQL 查詢規劃器在存在篩選條件時的索引選擇,提升了查詢性能和結果品質,並優化了 HNSW 索引的建立和搜尋效率。
  • Amazon OpenSearch Service: 支援 knn_vector 欄位類型,可儲存高達 16,000 維度的密集向量。使用近似 k-NN 演算法,包括來自 NMSLIB、FAISS 和 Lucene 函式庫的 Hierarchical Navigable Small Worlds (HNSW) 和 Inverted File System (IVF)。支援歐幾里得距離、餘弦相似度、點積等距離指標。OpenSearch Service 3.1+ 版本引入了 GPU 加速功能,可將索引建立速度提高 10 倍,並降低四分之一的索引成本。
  • Amazon DynamoDB: 透過新的 DynamoDB 索引類型實現原生向量搜尋,該索引建立在儲存在表格屬性中的向量嵌入之上。支援高達 4096 維度,提供歐幾里得距離、餘弦距離和點積距離函數,並支援內聯篩選。
  • Amazon S3 Vectors: 引入了「Vector Bucket」和「Vector Index」的概念,允許直接在 S3 中建立和管理向量索引。支援 k-NN 相似性搜尋,並提供餘弦和歐幾里得等距離度量。針對冷查詢提供次秒級回應時間,暖查詢可達 100 毫秒。支援使用中繼資料篩選查詢結果。
  • Amazon Neptune Analytics: 作為圖形分析資料庫引擎,支援向量搜尋功能。其向量索引更新不符合 ACID 事務特性,特別是非原子性和非隔離性,建議避免同時更新向量嵌入並使更新查詢冪等。

🔮 前景展望AI analysis grounded in cited sources

AI 應用開發將大幅簡化,降低進入門檻。
透過將向量搜尋直接整合到現有資料庫和儲存服務中,開發者無需管理獨立的向量資料庫基礎設施,從而加速 AI 應用(特別是 RAG)的開發和部署。
企業將更有效地利用其現有資料資產來驅動生成式 AI 應用。
避免資料遷移和同步的複雜性,使得企業能夠直接在已存放的營運資料上構建 AI 代理和語義搜尋功能,釋放非結構化資料的潛在價值。
向量資料庫市場將面臨整合壓力,專用向量資料庫廠商需調整策略。
雲端供應商提供原生整合的向量搜尋功能,將減少對獨立向量資料庫的需求,迫使現有廠商轉向提供更專業化、高效能或多雲的解決方案。

時間線

2023-04
Amazon Bedrock 預覽版發布
2023-09
Amazon Bedrock 正式普遍可用 (GA)
2024-02
Amazon Neptune Analytics 推出,支援向量相似性搜尋
2025-04
Amazon Aurora PostgreSQL 支援 pgvector 0.8.0
2025-07
Amazon S3 Vectors 推出,提供原生向量儲存與查詢 API
2026-08
Amazon DynamoDB 推出原生向量搜尋功能
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: AWS Machine Learning Blog

這是摘要,不是原文。去看原站,或訂閱每週簡報。

每週 AI 簡報

每週一封,可隨時退訂。

Build Agents Where Data Lives | AWS Machine Learning Blog | SetupAI | SetupAI