📚InfoQ中国•最新收集於 0m
DoorDash 打造每秒 150 萬請求的高可用代理快取
💡參考 DoorDash 如何用 Envoy 與 Valkey 支撐 1.5M RPS 及五個九以上可用性。
⚡ 30-Second TL;DR
有什麼變化
代理快取吞吐量達到每秒 150 萬請求
為什麼重要
這套架構可為需要處理大量重複或可快取請求、且重視高可用性的 AI 平台提供參考。團隊可藉此降低上游服務壓力，並在大規模流量下維持較穩定的延遲表現。
下一步行動
在擴充上游容量前，先針對流量最高的推論或特徵服務端點，測試 Envoy 加 Valkey 快取層的效能。
誰應關注：Developers & AI Engineers
關鍵要點
- •代理快取吞吐量達到每秒 150 萬請求
- •技術堆疊採用 Envoy 與 Valkey
- •系統可用性達到 99.99999%
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •DoorDash 選擇從 Redis 遷移至 Valkey，主要考量是 Valkey 作為開源專案在社群治理與長期維護上的穩定性與透明度。
- •該代理快取系統採用了 Envoy 的 Filter 機制，透過自定義擴充功能實現了請求路由與快取邏輯的解耦。
- •系統架構中引入了多層級的快取策略，不僅限於記憶體快取，還結合了本地快取以進一步降低延遲。
- •為了達到 99.99999% 的可用性，DoorDash 實作了自動化的故障轉移（Failover）機制，能在毫秒級別內偵測並隔離異常節點。
- •此架構解決了傳統快取層在處理高併發熱點數據（Hot Keys）時常見的效能瓶頸問題。
📊 競品分析▸ Show
| 特性 | DoorDash (Envoy + Valkey) | 傳統 Redis Cluster | AWS ElastiCache |
|---|---|---|---|
| 吞吐量 | 極高 (1.5M RPS) | 高 | 高 (受限於託管配置) |
| 可用性 | 99.99999% | 取決於部署 | 99.99% - 99.999% |
| 靈活性 | 極高 (Envoy 自定義) | 中 | 低 (封閉環境) |
| 成本結構 | 自建維護成本 | 自建維護成本 | 訂閱費用 |
🛠️ 技術深入
- 採用 Envoy Proxy 作為入口層，利用其高效的非同步 I/O 模型處理海量連線。
- 使用 Valkey 取代 Redis，利用其優化的多執行緒架構提升單節點處理能力。
- 實作了基於一致性雜湊（Consistent Hashing）的負載平衡演算法，確保快取命中率最大化。
- 透過 Envoy 的 xDS API 實現動態配置更新，無需重啟服務即可調整路由策略。
- 監控系統整合了分散式追蹤（Distributed Tracing），能精確定位請求在代理層的延遲來源。
🔮 前景展望AI analysis grounded in cited sources
Valkey 將成為大型電商平台取代 Redis 的主流選擇。
DoorDash 的成功案例證明了 Valkey 在處理極端流量下的穩定性，將促使更多企業轉向開源且治理透明的解決方案。
Envoy 在應用層代理的角色將從單純的流量轉發轉向智慧快取協調。
透過將快取邏輯整合進 Envoy，企業能更靈活地在邊緣處理數據，減少後端資料庫的負載壓力。
⏳ 時間線
2024-03
Linux 基金會宣布成立 Valkey 專案以延續 Redis 開源生態。
2024-05
DoorDash 開始評估將核心快取基礎設施遷移至 Valkey。
2025-02
DoorDash 完成代理快取系統的架構重構，並導入 Envoy 進行流量管理。
2026-01
系統正式達到每秒 150 萬請求的吞吐量與 99.99999% 可用性目標。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： InfoQ中国 ↗