Amazon 將 Alexa 整合至搜尋欄，推動代理式商務發展

Amazon的AI購物助理（最初為Rufus，現為Alexa購物的一部分）的技術細節包括：

• 底層AI： 採用生成式AI和代理式AI技術。
• 基礎平台： 建立在Amazon Bedrock之上，提供對多個大型語言模型的統一API存取。
• 使用的LLM： 包含Anthropic的Claude Sonnet、Amazon Nova，以及一個專門針對Amazon廣泛的產品目錄、客戶評論、社群問答和網路資訊訓練的客製化模型。
• 多組件架構： 系統並非依賴單一模型，而是由多個組件協同運作，包括查詢規劃/分類層、檢索增強生成（RAG）系統、基礎LLM和串流+渲染層。
• 檢索增強生成（RAG）： 從Amazon自有來源（產品目錄、評論、問答、商店API）和外部網路來源即時檢索資料，以確保回應的準確性和即時性。
• 串流與渲染： 回應以token-by-token方式串流，並透過查詢內部系統以即時商店資料「填充」回應，同時模型經過訓練可生成顯示元素所需的標記指令。
• 情境感知會話： 透過分散式快取架構維護對話歷史和使用者偏好，以實現跨會話的連貫性。
• 即時路由器： 利用Amazon Bedrock存取多種模型，實現靈活的模型選擇，以優化能力、延遲和答案品質。
• 硬體支援： 利用AWS Inferentia和Trainium晶片進行大規模運算，例如Rufus在Prime Day期間曾擴展到超過80,000個晶片，每分鐘處理約300萬個token。
• 資料來源： 涵蓋產品標題、描述、技術規格、價格、運輸資訊、客戶評論、問答、評級情境、A+內容，以及使用者的購買歷史、瀏覽產品、願望清單行為和聊天歷史。