ADOP 將數週資料工程縮短至數小時
Agentic Data Operations Platform（ADOP）是建構於 Amazon Bedrock 的參考架構，利用專用 AI agents 自動化 Bronze-to-Silver-to-Gold 資料管線。它旨在將新資料來源的導入時間從數週縮短至數小時，同時維持資料治理與合規控管。
Search
Tag: #data-pipelines10 results
SanDisk 推出高耐用 NAS SSD
SanDisk 推出專為現代網路附加儲存環境打造的 SANDISK NAS SSD 產品線，包括 SATA 介面的 NAS 600 與支援 PCIe Gen5 的 NAS 800 NVMe。兩款產品容量分別最高達 4TB 與 7.68TB，其中 NAS 800 連續讀取速度最高可達 14.9GB/s。
⚙️
Volga Rust 重寫：即時 AI/ML 資料引擎
Volga 是一款專為即時 AI/ML 管線設計的開源資料引擎，最近從 Python+Ray 原型完整重寫為原生 Rust。它利用 Apache DataFusion 和 Arrow 實現統一的串流、批次與請求時計算，消除如 Flink 或 Spark 等複雜基礎設施。主要功能包括 SQL 管線、S3 儲存狀態、ML 專屬聚合及長視窗支援。
具身 AI 資料新創數千萬融資
一家專注具身 AI 資料的實戰型新創，在 40 天內完成兩輪、合計數千萬元人民幣的融資。該公司瞄準物理 AI 應用所需的資料基礎設施。
Definity 在 Spark 管線嵌入代理提升 AI 可靠性
Definity 直接在 Spark 和 DBT 管線中嵌入 AI 代理，即時偵測故障，防止問題影響代理式 AI 系統。客戶回報除錯工作減少 70%，問題解決速度提升 10 倍。該新創公司完成由 GreatPoint Ventures 領投的 1200 萬美元 A 輪融資。
Meta 用 AI 繪製大型資料管道部落知識
Meta 為橫跨 4 個儲存庫、3 種語言及超過 4,100 個檔案的大型資料管道，提升了 AI 程式碼助理效能。AI 代理最初因程式碼庫理解不足，無法快速進行有用編輯。他們建置系統來繪製「部落知識」，實現更快改進。
NAB 透過 Spark Declarative Pipelines 現代化其 Ada 平台
澳洲國民銀行 (NAB) 正在升級其 Ada 平台的數據管道。此次現代化工作重點在於導入 Spark Declarative Pipelines，以提升數據處理效率。
從數據「沉睡」到價值閉環，AI如何重塑製造業未來？丨ToB產業觀察
AI 透過將沉睡數據轉化為完整價值閉環，重塑製造業未來。工業領域的 AI 革命是一場馬拉松，而非短跑，強調長期策略轉變。
大規模數據工作中資料品質至關重要
資料品質常被視為事後考慮，團隊在驗證資料準確性前就建置功能、管道和儀表板。問題僅在利害關係人晚期標記時才浮現，修復成本呈指數級增長。早早優先資料品質可避免大規模數據工作中的高成本。
⚙️
如何擴展長時間 ML 預處理任務？
Reddit 貼文尋求 ML 工作流程中擴展長時間預處理任務的真實經驗。詢問工具試用、斷點如設定複雜度或維護。針對分享實際有效的從業者。