Kimi新架構讓馬斯克嘆服！17歲高中生作者一戰成名
Kimi推出突破性新架構，讓Elon Musk嘆服。此創新將注意力機制「旋轉90度」。由17歲高中生作者創作，一戰成名。
Search
Tag: #llm-architecture16 results
🔬
Hierarchos：一款 232M 參數的遞迴記憶增強型助理模型
Hierarchos 是一款實驗性的 232M 參數語言模型，利用混合式非 Transformer 架構來實現指令一致性。它結合了 RWKV 遞迴、分層管理器/工作者迴圈以及可微分的槽位式長期記憶，證明了小型模型在效率上的潛力。
🔬
將上下文壓縮視為擴散雜訊函數的研究提案
這項研究提出了一種新穎架構，透過將語意壓縮視為類似擴散的雜訊函數來處理海量上下文。模型透過不同壓縮層級的多輪讀取來精煉整合狀態，無需將全文放入上下文視窗中。
現代擴散語言模型的系統性實驗分析
本研究針對八種最先進的擴散語言模型 (DLMs) 進行了跨基準測試的全面評估。研究探討了生成品質與計算效率之間的權衡，並強調了推理階段的設計選擇如何影響模型效能。
視覺圖表支架增強大型語言模型的結構化推理能力
本研究探討將視覺圖表心智圖作為大型語言模型（LLM）內部推理支架的應用。研究發現，在多跳推理任務中，視覺圖表引導的效果顯著優於將結構扁平化為文字的處理方式。
關於 Mistral「Le Gros Chaton」的傳聞甚囂塵上
關於 Mistral 新模型「Le Gros Chaton」的傳聞不斷，據稱具備 1B 上下文與即時自我改進能力。社群正密切關注其是否會開源。