ITNet：整合卷積、注意力與遞歸機制的統一架構
ITNet 是一種新型的可學習積分變換，在數學上涵蓋了卷積網絡、Transformer 和遞歸模型。透過使用以 MLP 實現的可學習核心，該架構能讓單一模型根據不同數據模態調整其行為。
Search
Tag: #neural-architecture5 results
🔬
大腦「認知樂高」揭示人類學習效率之謎
普林斯頓大學研究人員發現，大腦利用模組化的「認知樂高」神經模式來組合既有知識以應對新任務，這為解決 AI 的災難性遺忘問題提供了潛在藍圖。
🔬
無 Transformer 的物理基語言模型
新型架構使用阻尼諧振振盪器處理 token，透過共振管理局部脈絡。在 FineWeb 上 14.8M 參數達 1.34 BPB，訓練穩定且抗量化。PyTorch 僅 300 行程式碼；尋求 arXiv 認證。
🔬
EML Trees 被證明為通用近似器
研究人員發表了一項證明，顯示 EML-type trees 能夠近似任何在合理通用空間內的函數。該研究利用基本函數作為建構模組，以實現通用近似能力。
🔬
家用PC打造2700 Elo神經棋引擎
Autochess NN是一款可在瀏覽器遊玩的神經網路國際象棋引擎，在家用RTX 4090上達到~2700 Elo，使用AI輔助研究打造。採用殘差CNN + Transformer架構，在100M+位置上訓練，經Lichess監督預訓練、Syzygy殘局微調及self-play RL。包含對戰AI、謎題及走法分析，CPU推論低於2ms。