Nvidia's DMS Slashes LLM Costs 8x
Nvidia's DMS compresses LLM KV cache up to 8x, reducing memory costs without accuracy loss. Enables longer chain-of-thought reasoning and more parallel paths. Outperforms heuristic eviction and paging methods.
Search
直接匹配不多，已補上最新動態。
Tag: #dms2 results
Cloudflare Agent Tracing 新增 Payload 控制功能
Cloudflare 推出 Agent Tracing，支援設定 Payload 截斷限制。不同支援的 Agent 框架在 Payload 預設記錄策略上有所差異，因此開發者在設定可觀測性時需要檢查各框架的個別設定。
⚙️
AI 熱潮揭示磷化銦供應缺口
AI 資料中心擴張正大幅推升磷化銦衍底的需求，這類材料用於高速光晶片。全球供應高度集中於三家海外供應商，而中國國內產能仍然有限，且正處於擴產爬坡階段。
🤖
SHADOW-250M：僅 60 MB 的長上下文 LLM
一名獨立開發者表示，他以 300 億個 FineWeb tokens 訓練 SHADOW-250M，這個 2.5 億參數 LLM 經量化後低於 2 bits。據稱模型可在筆電 CPU 上以每秒約 400 tokens 運行，並透過磁碟上的 1-bit 壓縮機制，從最長 1 億 tokens 的歷史內容中進行檢索。
AI 讓作業變好，卻讓學習能力退化
一項追蹤26,811名中國中學生、歷時30個月的研究發現，使用生成式 AI 的學生作業成績平均提高18%、完成時間縮短30%，但月考成績平均低20%。研究指出，長期使用者更容易將作業完全外包給 AI，使原本應透過草稿、試錯與推演建立的能力逐步流失。
日本收緊 AI 硬體供應鏈
日本將阻焊劑、GaN 基板、永磁體、鈣鈦礦電池與閃爍體五類技術，納入技術轉移前的申報與審查框架。這項措施涵蓋海外子公司、合資企業、公司、大學與研究機構，可能影響半導體、機器人、AI 伺服器及感測器供應鏈。
ChatGPT 威脅通報促成逮捕
一名前 Goldman Sachs 分析師因在 ChatGPT 中留下針對前女友的具體威脅，遭 OpenAI 標記並移交執法機關後被捕。這起案件凸顯 AI 聊天記錄可能成為司法證據，也引發對隱私、威脅偵測標準與平台通報義務的討論。
豆包輸入法 HarmonyOS 版開放搶先體驗
豆包輸入法 HarmonyOS 版已在 AppGallery 開放搶先體驗，版本號為 0.9.1，體驗時間為 8 月 22 日至 9 月 21 日。此版本支援基於豆包語音大型模型的多方言、英語及中英混輸，並提供弱網環境下的語音輸入能力。
⚙️
為 16GB VRAM 調校 Qwen3.8
一名 LocalLLaMA 使用者分享了在 Windows 上，於約 16GB VRAM 內執行 Qwen3.8 27B IQ4-XS-MTP GGUF 模型的配置。該設定透過將多模態元件與特定張量移至系統 RAM，以量化品質與速度換取 90K–100K 的上下文視窗。
算力，而非參數，才是 AI 智能的關鍵
唐杰指出，參數量並不是衡量 AI 能力的完整指標。更有意義的 Scaling Law 衡量方式是計算量，也就是訓練或推理所使用的 FLOPs。