Cloudflare achieves 10x increase in global scanning capacity

•Cloudflare 的 Security Insights 系統是其更廣泛的 Cloudflare Security Center 的核心組成部分，該中心透過識別面向網際網路的資產、潛在風險並提供修復選項來提供攻擊面管理 (ASM) 功能。
•該系統的架構依賴於一個分散式網路，由名為「檢查器」（checkers）的專門 Go 微服務組成，這些服務將掃描訊息發佈到 Apache Kafka，然後透過內部 API 將結果儲存在 PostgreSQL 資料庫中。
•此次效能提升使 Cloudflare 能夠為所有免費帳戶啟用自動掃描，並顯著提高所有客戶層級的掃描頻率（免費方案：每 7 天一次；專業版和商業版：每 3 天一次；企業版：每天一次）。
•克服的一個主要挑戰是高延遲問題，特別是位於俄勒岡州波特蘭的主要 PostgreSQL 資料庫與同時在波特蘭和阿姆斯特丹運行的 API 實例之間的跨區域延遲，這曾導致查詢緩慢並佔用連接。
•優化後的系統現在每天產生超過 1000 萬個可操作的安全洞察，並透過統一的儀表板呈現，將漏洞和錯誤配置按嚴重性分類為「安全行動項目」。

Cloudflare Security Insights 系統採用分散式微服務架構，其中「檢查器」（checkers）是專門的 Go 語言微服務，負責掃描特定資產或配置。
掃描排程器將訊息發佈到 Apache Kafka，這是一個開源的分散式事件串流平台，用於訊息傳遞。
檢查器處理 Kafka 訊息並將結果（安全洞察）發送到 Cloudflare 的內部 API，該 API 隨後將數據持久化到 PostgreSQL 資料庫中。
Kafka 消費者優化解決了在分區事件串流中訊息必須按順序處理的問題，這限制了每個分區的活躍消費者數量。
PostgreSQL 查詢優化解決了跨區域延遲問題，特別是波特蘭（資料庫）和阿姆斯特丹（API）之間的延遲，這導致資料庫查詢時間過長並佔用連接。
為了防止 Kafka 分區飽和和掃描延遲，Cloudflare 實施了三項關鍵變更：獨立排程區域、隨機化現有帳戶和區域的 last_scheduled_at 時間，以及引入掃描排程的自適應速率限制。
Cloudflare 在其分散式 PostgreSQL 叢集中使用 HAProxy 進行負載平衡，並使用 PgBouncer 進行連接池管理，以提高可用性和容錯能力。
內部資料庫存取透過 Cloudflare Tunnel 和 Cloudflare Access 進行保護，利用零信任原則來增強安全態勢並簡化內部使用者體驗。

Cloudflare 將能提供更即時、更全面的安全態勢評估。

掃描容量的顯著提升和掃描頻率的增加，意味著客戶能更快地發現並修復潛在的安全風險和錯誤配置。

Cloudflare 將進一步鞏固其在攻擊面管理 (ASM) 和雲端安全分析領域的領導地位。

透過軟體優化而非硬體擴充實現的效能提升，展示了其工程實力，並能以更具成本效益的方式擴展服務，吸引更多客戶。

Cloudflare 可能會將此優化經驗應用於其他需要大規模數據處理的內部系統。

此次優化涉及 Kafka、Postgres 和 API 等核心組件，其成功經驗可作為其他高吞吐量、低延遲系統改進的範本。

2009-07

Cloudflare 成立。

2010-09

Cloudflare 在 TechCrunch Disrupt 公開亮相，推出基於 DNS 的 CDN 服務。

2014

Cloudflare 開始在生產環境中使用 Apache Kafka，用於分析、DDoS 緩解、日誌和指標管道。

2021-12

Cloudflare 推出 Cloudflare Security Center，其中包含 Security Insights 功能，旨在幫助組織映射攻擊面並識別潛在安全風險。

2022-12

Cloudflare 推出新的 Security Analytics，提供對所有 HTTP 流量的全面安全視圖。

2026-05

Cloudflare 推出改進後的 Security Overview 儀表板，將分散的安全信號整合為單一介面，並引入「安全行動項目」。

2026-06

Cloudflare 宣布其 Security Insights 系統的全球掃描容量提升 10 倍，達到每秒超過 120 次掃描。

Cloudflare 全球掃描容量提升 10 倍