🤖較早收集於 13m

AI 訓練能否像比特幣挖礦一樣去中心化?

PostLinkedIn
🤖閱讀原文: Reddit r/MachineLearning

💡探索去中心化 GPU 網路是否能透過「訓練證明」模式顛覆中心化的 AI 訓練。

⚡ 30-Second TL;DR

有什麼變化

提出了一種用於去中心化 AI 模型開發的「訓練證明」激勵結構。

為什麼重要

如果成功,這將能實現大規模模型訓練的民主化,減少對大型科技公司所擁有之龐大 GPU 叢集的依賴。

下一步行動

研究現有的去中心化計算專案(如 Bittensor 或 Petals),以了解目前在梯度驗證方面的技術限制。

誰應關注:Developers & AI Engineers

關鍵要點

  • 提出了一種用於去中心化 AI 模型開發的「訓練證明」激勵結構。
  • 指出了關鍵技術障礙:驗證計算的有效性以及防止偽造或有害梯度的注入。
  • 探討去中心化網路是否能達到中心化資料中心的訓練效率。

🧠 深度解析

背景與延伸:來自公開資料,非原文內容。引用 23 個來源。

🔑 增強重點摘要

  • 去中心化AI訓練的效率瓶頸主要在於對專用GPU硬體的需求、資料交換延遲以及如何高效驗證計算任務的完成,這些因素使得大規模預訓練模型難以在異構去中心化網路中實現與中心化資料中心相媲美的效率。
  • 強化學習(RL)被認為與去中心化AI網路具有天然契合性,特別是在後訓練階段,因為其更依賴於大規模、多樣化的探索(Rollout),而非高頻率的參數同步,這使得消費級GPU也能有效參與大規模強化學習最佳化。
  • 「訓練證明」(Proof-of-Training, PoT)作為一種新型共識機制被提出,旨在將區塊鏈網路中浪費的計算替換為有用的機器學習訓練,並透過可驗證訓練階段確保模型創建的完整性。
  • 去中心化AI平台如Bittensor、Gensyn、Fetch.ai和Akash Network等,正透過代幣激勵機制,鼓勵全球參與者貢獻算力、數據或AI模型,以共同開發和營運去中心化機器智能網路。
  • 在去中心化AI模型開發中,存在惡意預訓練模型和資料投毒攻擊的風險,攻擊者可能透過篡改訓練樣本或注入惡意意圖來破壞模型,因此需要強健的驗證機制(如零知識證明和拜占庭容錯聚合規則)來確保誠實性。
📊 競品分析▸ Show
平台名稱核心功能代幣經濟/激勵技術特點/應用場景
Bittensor去中心化機器智能網路,促進AI產品生成與營運。$TAO 代幣獎勵貢獻者(礦工、驗證者、子網所有者),確保網路安全和驗證。透過子網(Subnets)實現多樣化的AI模型和服務市場,驗證者評估礦工服務品質。
Fetch.ai結合AI和區塊鏈的去中心化平台,提供智能代理系統。$FET 代幣(將遷移為$ASI)用於資助網路功能、代理人連接、搜索、價值交換及使用集體AI/ML演算法。自主經濟代理(AEA)在開放經濟框架(OEF)中互動、協作,應用於交通、能源、醫療等領域。
Akash Network去中心化雲端運算市場,提供GPU資源用於AI模型訓練和部署。用戶支付AKT代幣租用計算資源,提供者賺取AKT。專注於提供可擴展、成本效益高的GPU資源,已成功進行基礎AI模型訓練的示範。
Gensyn專為AI訓練設計的去中心化運算網路。透過「學習證明」(Proof-of-Learning, PoL)和驗證體系,激勵全球異構GPU參與大規模強化學習最佳化。支援萬億級參數模型的訓練,特別適合強化學習的後訓練階段,利用SAPO等技術降低頻寬需求。
Nodepay去中心化AI平台,允許用戶變現閒置帶寬、貢獻實時數據以訓練AI模型。$NC 代幣獎勵共享帶寬和提供實時數據的用戶。透過分佈式用戶節點進行網頁爬取,提供實時數據檢索,並採用RAG技術優化AI推理能力。

🛠️ 技術深入

  • 訓練證明 (Proof of Training, PoT):一種新穎的共識機制,旨在將區塊鏈網路中傳統上浪費的計算替換為有用的機器學習訓練。它包含兩個主要階段:可驗證訓練(負責模型訓練和創建訓練聲明訊息)和共識機制本身。
  • 驗證機制:為解決去中心化網路中的誠實性問題,零知識證明(ZK)和學習證明(Proof-of-Learning, PoL)被提出,用於驗證節點是否真實執行了推理或訓練任務。
  • 對抗性攻擊防禦:為防止模型投毒攻擊(Model Poisoning Attacks),聯邦學習中已提出多種拜占庭容錯聚合規則,旨在伺服器疊加過程中識別並排除惡意模型更新。梯度剪切(Gradient Clipping)和差分隱私策略也具有一定效果,但無法提供完全保護。
  • 強化學習與Web3的契合:強化學習(RL)的訓練過程可拆分為Rollout(大規模異構採樣)和模型更新。Rollout階段可外包給開放網路,透過代幣機制按貢獻結算,而模型更新保持集中化以確保穩定性。
  • 並行化策略:在分散式AI訓練中,主要有三種並行化類型:資料並行(Data Parallelism)、張量並行(Tensor Parallelism)和管道並行(Pipeline Parallelism)。模型並行是結合管道和張量並行的一種混合方法,用於將大型權重矩陣或模型層拆分到多個GPU上。
  • Bittensor的Yuma Consensus:這是一套用於計算新產出$TAO代幣如何分配的共識機制,它根據Root驗證者對子網的評分,以及子網內驗證者對礦工服務品質的加權評分來分配獎勵。

🔮 前景展望AI analysis grounded in cited sources

去中心化AI將顯著降低AI開發的進入門檻並促進創新。
透過匯集全球閒置的計算資源和數據,並提供代幣激勵,去中心化網路使更多個人和小型團隊能夠參與AI模型的訓練和開發,打破了大型科技公司的壟斷。
強大的驗證技術(如零知識證明)將成為去中心化AI成功的關鍵。
在開放且無需信任的網路中,確保AI訓練工作的有效性、防止惡意梯度提交和資料投毒,對於建立對去中心化AI系統的信任至關重要。
去中心化AI將首先在特定AI訓練階段(如強化學習)和小型模型上取得突破。
由於大規模預訓練模型對同構集群、高頻寬和低延遲的嚴苛要求,去中心化網路在協調異構算力方面仍面臨挑戰,而強化學習和微調等階段更適合其分散式特性。

時間線

2018-01
研究揭示深度學習系統中的模型重複使用攻擊,凸顯預訓練模型安全風險。
2020-12
Fetch.ai 詳細闡述其去中心化基礎設施和FET代幣在AI代理生態系統中的作用。
2021-07
Akash Network 開始探索在其去中心化雲端平台上進行AI模型訓練。
2022-05
「訓練證明」(Proof of Training, PoT)共識機制被正式提出,旨在使機器學習訓練可驗證。
2023-04
Bittensor 作為一個去中心化機器智能網路,透過代幣激勵AI產品的生成與營運,獲得顯著關注。
2025-12
研究報告強調強化學習與去中心化AI網路的天然契合,並分析了Gensyn、Nous Research等相關專案。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Reddit r/MachineLearning

這是摘要,不是原文。去看原站,或訂閱每週簡報。

每週 AI 簡報

每週一封,可隨時退訂。