🔬
TurboQuant Python 實作發布
TurboQuant 論文的 Python 實作實現了無需校準資料的線上向量量化。使用隨機旋轉使座標呈高斯分佈，然後逐維度進行 1D 量化。包含無偏點積修正，適合 KV 快取與向量資料庫。
Search
Tag: #transformers19 results
新創企業追逐下一個 LLM 突破
文章探討各家新創企業如何追逐大型語言模型的下一個重大發展。文章從 Google 於 2017 年發表的〈Attention Is All You Need〉談起，該論文奠定了現代 Transformer 時代的重要研究基礎。
互動式GPT-2 2D/3D視覺化工具
互動網頁應用視覺化GPT-2 (124M)在前向傳遞中的注意力分數與激活值。具2D (HTML/CSS/JS)與3D (Three.js)視圖，作為教育資源。涵蓋Transformer基礎與kv-caching概念。
更清楚理解位置編碼的方法
一位 Reddit 使用者推薦了一篇讓自己終於理解位置編碼的文章。這則貼文為 AI 從業者提供了學習材料，協助了解 Transformer 模型如何表示序列位置。
九球AI直切球候選生成
詳述建構九球桌球AI，使用transformer預測勝率、多類射球候選生成器與評估器。優化昂貴的pooltool模擬，採用預計算接受窗口與射球索引查詢表。將射球拆分為物球需求與母球執行以加速。
🔬
為何 Muon 只用於 Transformers？
Muon 優化器在 LLM 訓練中迅速流行，但未見用於 Transformers 以外領域，如 ConvNets。儘管發表時創 Cifar-10 訓練速度紀錄，搜尋卻無結果。貼文推測是否不具擴展性或錯過論文。
🔬
Transformer 在 4 天預測問題上掙扎
一位從業人員使用 Transformer 模型預測未來 4 天可用性，但高峰日間負載期間總是預測「忙碌」。特徵包括日與時的 sin/cos 編碼加上訊號本身。類別權重調整未能解決不平衡問題。
LGS for Long-Term Physics Simulation
LGS uses VAE latent space and Transformer dynamics for generalizable PDE simulation. Uncertainty knob and flow forcing stabilize long-horizon predictions. Pretrained on 2.5M trajectories across 12 PDE families.
Transformers Collapse to Low-Dim Manifolds
Transformer training on modular arithmetic tasks collapses high-dimensional parameters to 3-4D execution manifolds. This structure explains attention concentration, SGD integrability, and sparse autoencoder limits. Core computation occurs in reduced subspaces amid overparameterization.