ADOP 將數週資料工程縮短至數小時
Agentic Data Operations Platform（ADOP）是建構於 Amazon Bedrock 的參考架構，利用專用 AI agents 自動化 Bronze-to-Silver-to-Gold 資料管線。它旨在將新資料來源的導入時間從數週縮短至數小時，同時維持資料治理與合規控管。
Search
Tag: #data-engineering24 results
🔬
具身智能與落地實踐的關鍵洞察
本文挑戰了具身智能的主流敘事，認為基於影片生成的機器人控制因「邊緣幻覺」而存在缺陷。文章強調，數據品質與即時回饋的基礎設施比模型架構更為關鍵。
具身智能的數據瓶頸與四大生產路線
具身智能正面臨嚴重的數據短缺，產業重心正從硬體轉向數據基建。目前四大數據採集路線（真機遙操、無本體採集、仿真合成、視頻蒸餾）正快速演進，以解決高品質交互數據匱乏的問題。
REDI：科學 AI 的自動化數據就緒框架
REDI 是一個開源框架，可將大規模科學數據集自動轉換為 AI 就緒格式。它具備五階段處理流程，並與 SetGo 工具整合，以確保符合 FAIR 原則並實現可重現的研究。
使用 NVIDIA GQE 設計 GPU 加速查詢引擎
本文探討了 NVIDIA 的 HBM 和 NVLink-C2C 等硬體創新如何解決 GPU 加速查詢引擎中的記憶體與 I/O 瓶頸。文中強調了 NVIDIA GB200 NVL4 在優化資料傳輸與解壓縮以實現高效能資料處理方面的作用。
Databricks 推出 LTAP 以消除 AI 資料管線延遲
Databricks 推出了 Lakehouse//RT 和 LTAP，旨在統一交易與分析資料儲存，從而消除複雜的 ETL 管線。此基礎架構更新旨在為 AI Agent 提供即時存取動態資料的能力，且不會造成效能下降。
Upriver 獲 1400 萬美元融資，旨在自動化企業 AI 數據管線
以色列新創公司 Upriver 獲得 1400 萬美元融資，旨在解決導致企業 AI 專案失敗的「不顯眼」數據問題。該平台專注於自動化數據清理並修復損壞的管線，以確保模型的可靠性。
⚙️
數據工程的未來：從Modern Data Stack到Data Engineering Harness
本文提出從手動工具管理轉向「Data Engineering Harness」，這是一種由AI驅動的框架，允許AI Agent在維持企業治理的同時執行數據任務。
Tower 籌得550萬歐元強化AI資料管線
柏林新創Tower由前Snowflake工程師創立，籌得550萬歐元。平台讓AI生成的資料管線投入生產使用，解決AI快速產生程式碼與可靠執行的落差。
Amazon Quick 推出針對數據管理員的 Agentic Catalog Experience
Amazon Quick 推出了一項 AI 驅動的工作流程，讓數據管理員能以自然語言探索目錄資產。此功能透過繼承現有語義，自動建立資料集 (Datasets) 與主題 (Topics)。