Search

直接匹配不多,已補上最新動態。

Tag: #position-embedding1 results

🤖

Prisma:具新型FFN閘門的車庫模型

開發者 y3i12 發布 Prisma,這是受可解釋性啟發的架構,與標準 Transformer 不同。主要創新包括注意力/輸出權重共享、巢狀 FFN 閘門,以及 Word-Relative RoPE。在單一 H100 上以 30B 權重訓練,資料效率提升 25%,基準測試表現不錯。

Reddit r/MachineLearningCommunityMar 11#interpretability#position-embedding