Proven ML Data Extraction from Legacy Telecom OSS

•Debezium 的 MySQL CDC 連接器透過 binlog 捕捉行級變更，支援多個雲端平台（Azure、AWS MSK Connect、Confluent Cloud），提供比直接輪詢資料庫更低的延遲和更少的系統負擔[1][2][3][4]
•生產環境 CDC 管道需要特定的 MySQL 設定（binlog_format=ROW、binlog_row_image=FULL、適當的 expire_logs_days），以及針對 Debezium 使用者的精確權限配置（SELECT、RELOAD、REPLICATION SLAVE、REPLICATION CLIENT）[2][5]
•Avro Schema 相比預設 JSON 序列化可將訊息大小減少約 50%，同時改善長期資料格式漂移的追蹤能力，對於 15 年遺留系統的正規化處理特別重要[5]
•Debezium 支援多資料庫架構（MySQL、PostgreSQL、MongoDB、Cassandra），允許在微服務環境中為每個資料庫叢集部署獨立連接器，或建立專用 Debezium 叢集進行多源複製[5][6]
•DateTime 欄位轉換為 epoch 毫秒是已知的資料型別轉換挑戰，特別是在下游系統（如 Redshift）中需要額外的 SMT（Single Message Transform）或自訂轉換邏輯[7]

Debezium MySQL CDC 實現細節

日誌捕捉機制：使用 log-based replication 從 MySQL binlog 讀取已提交的行級變更，無需應用層修改[6]
必要 MySQL 設定：
- binlog_format = ROW（行級日誌記錄）
- binlog_row_image = FULL（完整行映像）
- server-id 配置用於複製識別
- expire_logs_days = 10（日誌保留期）[5]
權限要求：GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.*[2]
Kafka Connect 整合：Debezium 連接器透過 Kafka Connect REST API 部署，需要 Kafka 9092 埠和 schema registry 支援[3]
序列化選項：
- 預設 JSON：每條訊息內嵌完整 schema（冗長）
- Avro：透過 schema registry 參考，訊息大小減少 ~50%[5]
輸出主題結構：使用 topic.prefix 和 table.include.list 控制事件路由，支援選擇性表格監控[3]
資料型別轉換挑戰：MySQL DATETIME 轉換為 epoch 毫秒，需要下游 SMT 或自訂轉換邏輯處理[7]

遺留系統 CDC 採用將加速微服務遷移

Debezium 對舊版堆疊（C++/Perl）的零應用變更支援，降低了從單體架構提取事件的技術障礙，使企業能以最小風險進行增量現代化。

Avro 序列化將成為大規模 CDC 部署的標準

50% 的訊息大小減少和改善的 schema 演化追蹤，使 Avro 對於處理 15+ 年格式漂移的遺留系統特別有價值，降低儲存和頻寬成本。

2016-01

Debezium 專案啟動，首次發布 MySQL 連接器支援

2019-06

Debezium 1.0 正式發布，提供生產級 CDC 功能

2021-09

Azure Event Hubs 新增 Kafka 端點支援，啟用 Debezium 整合

2023-01

Confluent 推出完全託管的 Debezium 服務，簡化 CDC 部署

2024-06

Debezium 支援擴展至 Cassandra 和其他 NoSQL 資料庫

舊版電信 OSS 的 ML 資料提取實戰經驗