TurboQuant 跳過 90% KV 去量化,提升 22.8% 解碼
llama.cpp 中的 TurboQuant 新優化,跳過 V 快取中可忽略注意力權重的去量化,在 M5 Max 32K 上下文達 +22.8% 解碼速度。標準 q8_0 也適用(+5%),困惑度與 NIAH 分數不變。
Tag: #apple-silicon187 results
llama.cpp 中的 TurboQuant 新優化,跳過 V 快取中可忽略注意力權重的去量化,在 M5 Max 32K 上下文達 +22.8% 解碼速度。標準 q8_0 也適用(+5%),困惑度與 NIAH 分數不變。

蘋果推出搭載 iPhone A18 Pro 晶片的 MacBook Neo,8GB 記憶體起售 4499 元,瞄準入門用戶。MacBook Pro 升級 M5 Pro/Max,AI GPU 與多核性能提升;Air 換 M5 起跳 512GB。新 Studio Display 支援 Thunderbolt 5。

蘋果 2024 Mac mini 搭載 M4 / M4 Pro 晶片,京東國補後 3805 元預約,今晚 20:00 開搶。相較前代,CPU 最高提速 1.8 倍,GPU 2.2 倍,神經網路引擎提速 3 倍,支持 Apple Intelligence。M4 Pro 配 Thunderbolt 5、最高 64GB 記憶體,在創意與 AI 應用基準表現優異。
ORION 開源端到端系統,在 Apple Neural Engine 上原生訓練 110M Transformer,繞過 CoreML。透過自訂編譯器與修復處理 17 項硬體限制及 NaN 穩定性。在 M4 Max 上示範。

蘋果推出搭載 M5 晶片的 MacBook Air,以及搭載 M5 Pro 和 M5 Max 晶片的 MacBook Pro,另有新 Studio Display。M5 系列透過 Fusion Architecture 提供最高 4 倍 AI 運算速度及 30% 專業任務效能提升。價格小幅上漲,但基礎款儲存容量加倍。

蘋果推出用於新 MacBook Pro 的 M5 Pro 和 M5 Max 晶片,採用融合架構,具備 18 核心 CPU,包括六個「超級核心」。它們提供最高 40 核心 GPU 內建神經加速器,比前代 AI 運算峰值提升 4 倍。預購將於 3 月 4 日開始。

蘋果推出新一代 14 吋與 16 吋 MacBook Pro,全線搭載首發 M5 Pro 與 M5 Max 晶片,主打更高 CPU/GPU 效能與新一代本地 AI 能力。起始儲存提升至 1TB/2TB,SSD 讀寫速度最高達前代兩倍,加入支援 Wi-Fi 7 與 Bluetooth 6 的 N1 無線晶片,續航最長 24 小時。

開發者利用 Claude 逆向工程 Apple M4 Mac Mini 的 Neural Engine 私有 API,繞過 CoreML 訓練 110M MicroGPT。實現 19 TFLOPS、2.8W 功耗,達 6.6 TFLOPS/W 效率。分享 GitHub 儲存庫含基準測試與訓練管線。
Qwen3.5-35B-A3B 在 M1 64GB Mac 上獨力處理推理、編碼與分析,優於先前雙模型設定。透過 llama.cpp 以 27 tok/s 執行,提供更好的 Amazon 銷售分析結果。停用思考模式以達最佳速度品質平衡。

Apple 在最新的 10-Q 財報中指出,AI 與機器學習基礎設施可能面臨算力短缺風險。此瓶頸可能導致未來產品與服務的發布時程延後。