Search

Tag: #neural-networks21 results

探索 Claude 架構中未經編程的湧現行為

本文探討了 Claude 神經架構中出現的神秘、未經編程的能力。文中強調了目前針對這些模型「未被構建」部分如何運作的持續研究。

The NeuronMedia•Jul 7#interpretability#neural-networks#emergent-behavior

無導數優化在 MNIST 任務上超越 Adam

一種名為 MDP 的無導數優化方法成功在 MNIST 資料集上訓練了神經網路，且無需使用反向傳播。在 25,450 維的參數空間中，其實際表現優於標準的 Adam 優化器。

Reddit r/MachineLearningCommunity•Jun 13#optimization#neural-networks#gradient-free

殘差建模技術提升高保真科學數據壓縮效能

研究人員推出了 LBRC 與 NGLR 兩種以殘差為核心的新型壓縮方法，專門用於處理高保真科學數據。這些方法透過針對學習型壓縮器殘差的獨特結構進行優化，效能超越了現有的 GAE 與 SZ 壓縮技術。

ArXiv AIResearch•Jun 6#data-compression#scientific-computing#neural-networks

ARC 推出 10 萬美元白盒估算挑戰賽

ARC 與 AIcrowd 合作舉辦了一項競賽，旨在改進寬隨機 MLP 的估算演算法。該挑戰賽提供至少 10 萬美元的獎金池，目前暖身賽已經開始。

AI Alignment ForumCommunity•Jun 2#mlp#algorithm-design#neural-networks

混合式 KAN-MLP 架構提升人體活動識別準確度

研究人員提出了一種結合 Kolmogorov-Arnold Networks (KANs) 與多層感知器 (MLPs) 的混合架構，旨在提升人體活動識別 (HAR) 的效能。透過在輸入嵌入與分類層使用 KAN，並保留 MLP 進行特徵混合，該模型在八個公開數據集上的 F1 分數較純 MLP 基線提升了 5.33%。

ArXiv AIResearch•May 20#kan#har#neural-networks

2019論文釘死深度學習理論棺材

討論Zhang et al. 2016論文後續，NN能記憶隨機資料，挑戰複雜度指標。研究者嘗試資料依賴邊界，如光譜規範化邊際。Nagarajan and Kolter 2019論文證明一致收斂無法解釋NN泛化。

AI Alignment ForumCommunity•Apr 27#neural-networks#statistical-learning

探索用於論文研究的 Transforming Autoencoders

一名研究生正在尋求建議，考慮將其論文研究重點從 Capsule Networks 轉向研究較少的「Transforming Autoencoders」架構。該貼文強調了自 2011 年以來關於此主題的研究相當稀缺，這為學術貢獻提供了一個潛在的切入點。

Reddit r/MachineLearningCommunity•Jun 10#neural-networks#academic-research#capsule-networks