Search

Tag: #open-source-llm20 results

Covenant-72B:迄今最大去中心化GPU訓練模型

Covenant-72B:迄今最大去中心化GPU訓練模型

Covenant AI 發布 Covenant-72B,這是有史以來在去中心化無許可 GPU 節點上訓練的最大模型。它採用基於 DiLoCo 的 SparseLoco 方法,透過降低同步頻率、使用本地 AdamW 優化器,以及 top-K 稀疏化來減少通訊開銷並解決頻寬瓶頸。

Reddit r/LocalLLaMACommunityMar 17#open-source-llm
Page 1 of 2