LinAlg-Bench 揭示大型語言模型數學推理的結構性失效模式
LinAlg-Bench 是一個全新的診斷基準測試，用於評估 10 個前沿大型語言模型在線性代數任務上的表現。研究發現模型在 4x4 矩陣規模時會出現關鍵行為轉折，從算術錯誤轉變為結構性幻覺與計算放棄。
Search
Tag: #linear-algebra5 results
⚙️
PyTorch 2.12 發布，CUDA 效能顯著提升
PyTorch 2.12 已正式發布，為深度學習工作流程帶來了顯著的效能優化。此次更新特別針對 CUDA 硬體上的 batched linalg.eigh 操作，實現了高達 100 倍的速度提升。
釐清 LoRA 論文中關於子空間相似度的圖表
研究人員尋求對 LoRA 原始論文中子空間相似度圖表的解讀說明。討論重點在於秩索引（rank indices）之間的關係以及子空間包含關係的可視化方式。
🔬
互動式網頁版 Transformer 模型視覺化教學工具
一位軟體工程師開發了一個功能完整的單層 Transformer 模型，並將其封裝在一個獨立的 HTML 檔案中以視覺化矩陣運算。使用者可即時編輯權重與詞向量，觀察這些變動如何影響模型的預測結果。
🔬
深度神經網路的上下文視角
這項研究提出了一種關於神經網路的新穎觀點，將層視為簡單的平均最佳線性映射。它探討了基於上下文的視角如何簡化對複雜深度學習架構的理論理解。