來源較早收集於 15h

10 億純 SNN 從頭擴展

閱讀原文: Reddit r/MachineLearning
#spiking-networks#neuromorphic#sparsity

10 億 SNN LM 從頭收斂,93% 稀疏 – 程式碼 + 檢查點免費!

30 秒速覽

有什麼變化

93% 稀疏性,每 token 僅 7% 神經元發射

為什麼重要

證明巨型 SNN 從頭可行,解鎖語言任務的節能神經形態推論。

下一步行動

從 GitHub 下載 12GB SNN 檢查點實驗稀疏性。

誰應關注:Researchers & Academics

關鍵要點

  • •93% 稀疏性,每 token 僅 7% 神經元發射
  • •25k 步出現無目標俄文生成
  • •1B 規模自移 39% 激活至記憶
  • •純脈衝域訓練,無 ANN 轉換

AI 週報

閱讀本週精選 AI 大事摘要 →

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Reddit r/MachineLearning ↗

這是摘要,不是原文。去看原站,或訂閱每週簡報。

每週電子報

每週一封,可隨時退訂。