🤖
AI 擴展定律的演進與轉型
本文分析了 AI 開發從單純參數擴展轉向關注數據品質、推理時計算與成本效益的趨勢。文章指出「大力出奇迹」的時代正在演進，重點已轉向模型效率與針對特定任務的優化。
Search
Tag: #scaling-laws37 results
🔬
不穩定的神經網路與數學悖論
本文探討了神經網路的理論局限性，將 Matthew Colbrook 關於不穩定系統的研究與 Gödel 的不完備定理連結起來。它挑戰了業界認為增加數據和算力就能解決所有問題的預設觀點。
ICML 2026 時間檢驗獎：從 A3C 的成功看學術創新真相
Volodymyr Mnih 回顧 2016 年的 A3C 論文，強調硬體限制如何驅動創新，以及為何簡單且具擴展性的方法往往優於複雜架構。
Jim Keller：AI 依然遵循舊有的效能法則
Tenstorrent 執行長 Jim Keller 討論了該公司「Galaxy」伺服器的效能及其在 AI 硬體領域的競爭態勢。他強調，儘管 AI 發展迅速，但底層的效能擴展法則依然保持不變。
🤖
LLMs 反向學習，擴展假設有界
Reddit 討論稱 LLMs 在訓練期間反向學習特徵。主張這限制了擴展假設，挑戰無止境計算擴展。在 r/MachineLearning 社群引發辯論。
Suleyman：AI發展不會很快遇瓶頸
Mustafa Suleyman認為AI發展因核心指數趨勢而不會很快遇瓶頸。人類線性直覺源自演化，無法理解AI的快速擴展。此觀點改變了對AI進展時間表的看法。
🤖
尋找 LLM 量化的最佳位元寬度
一名 Reddit 使用者詢問，在固定記憶體與運算預算下，目前的理論或實證研究是否已找出 LLM 最佳的每權重位元數。討論比較以 3-bit、2-bit 或約 1.5-bit 精度運行的大型模型，與採用 4-bit 或 8-bit 的較小模型，並特別關注 GGUF 等開源格式。