Search

直接匹配不多,已補上最新動態。

Tag: #sparsity3 results

🤖

10 億純 SNN 從頭擴展

18 歲開發者從隨機初始化訓練 10.8 億參數純脈衝神經網路用於語言建模,27k 步後損失收斂至 4.4。展現 93% 稀疏性、無目標俄文生成,以及自移 39% 激活至記憶模組。GitHub 釋出完整程式碼與 12GB 檢查點。

Reddit r/MachineLearningCommunityApr 13#spiking-networks#neuromorphic#sparsity
從頭訓練 144M 脈衝神經網路語言模型

從頭訓練 144M 脈衝神經網路語言模型

Nord 是一個 144M 參數脈衝神經網路 (SNN) 語言模型,從頭在 FineWeb-Edu 上訓練,僅花費 A5000 GPU 的 10 美元。達到 97-98% 推理稀疏度,比 GPT-2 Small 更好的主題連貫性,並透過脈衝率提供可視化可解釋性。支援 STDP 在線學習,並採用原創架構。

Reddit r/LocalLLaMACommunityFeb 26#snn#neuromorphic#sparsity