
LLM 以幾何而非語言思考
修訂版 LLM 神經解剖學 III 揭示 LLM 在中間層以向量組織概念,獨立於 8 種輸入語言及多模型。相同概念的英文文字、Python 程式碼與 LaTeX 方程式在中間空間匯聚。支持通用幾何結構而非 Sapir-Whorf 假說。
直接匹配不多,已補上最新動態。
Tag: #llm-internals4 results

修訂版 LLM 神經解剖學 III 揭示 LLM 在中間層以向量組織概念,獨立於 8 種輸入語言及多模型。相同概念的英文文字、Python 程式碼與 LaTeX 方程式在中間空間匯聚。支持通用幾何結構而非 Sapir-Whorf 假說。
一位軟體工程師開發了一個功能完整的單層 Transformer 模型,並將其封裝在一個獨立的 HTML 檔案中以視覺化矩陣運算。使用者可即時編輯權重與詞向量,觀察這些變動如何影響模型的預測結果。
Activation Lab (llmct) 在生成期間擷取 LLM 每層內部狀態,用於可解釋性。於 Qwen 2.5 (3B) 的 20 輪情緒對話實驗中,殘差流維持 0.83-0.88 餘弦相似度的情緒骨幹。主要發現:情緒辨識高峰在第 29-33 層、內建平靜緩衝、喜悅偏好、記憶衰減。

部落格系列第一部以視覺方式解密推理引擎內部運作。旨在建立對新突破的理解,並促進行業貢獻。

OpenAI 表示 Codex 活躍使用者已突破 2,000 萬,第三方追蹤數據則顯示其近期增速超越 Claude Code。Claude Code 目前規模仍較大且深受開發者採用,但隨著 Anthropic 接近早期市場飽和,其高速成長已經放緩。
中國多項臨床試驗正利用腦機介面,協助脊髓損傷患者站立與行走,並讓失明患者恢復有限的視覺感知。試驗結果差異很大,凸顯這項技術的潛力,以及目前在訊號採集、解碼與復健方面的限制。

據報 Alibaba 正合併電商業務、整合雲端與晶片業務,並將 Qwen 拆分為獨立子公司。報導亦涵蓋 Unitree 計畫登陸科創板、Anthropic 據傳的年化營收,以及 Alibaba 持續投入 AI 對利潤與現金流造成的壓力。

California 與其他 28 個州指控 Meta 設計 Facebook 和 Instagram 使其具成癮性、違反兒童隱私法,並隱瞞相關做法。檢方將其涉嫌採取的策略概括為「吸引、留住、收集、隱瞞」。

Ox Alpha 是一款透過 OpenRouter 與 OpenCode 提供的匿名模型,具備 100 萬 token 上下文、圖片與影片輸入、工具呼叫及免費使用等能力。早期測試顯示其推理與程式設計表現強勁,但開發者、參數量、訓練資料與正式基準排名仍未獲確認。

Cloudflare 推出 Agent Tracing,支援設定 Payload 截斷限制。不同支援的 Agent 框架在 Payload 預設記錄策略上有所差異,因此開發者在設定可觀測性時需要檢查各框架的個別設定。