Search

直接匹配不多，已補上最新動態。

Tag: #low-precision3 results

LoRA 在 FP8 上損失 68% 品質—修正降至 5%

標準 LoRA 縮放在 FP8 E4M3 硬體上溢位凍結適配器，造成 68% 品質損失。新 b-bit 浮點縮放方法將損失降至 5.2%，過擬合降 33 倍。在 A100、H200 和 B300 上驗證，詳見 koscak.ai。

DeepSeek 更新開源 DeepGEMM 函式庫，整合 mHC 並初步支援 NVIDIA Blackwell (SM100) 與 FP4 精度。此舉確認 DeepSeek V4 的次世代硬體最佳化。連結至重大 GitHub 提交。

DeepSpeed 推出與 PyTorch 完全相容的 backward API，用於高效訓練多模態與多組件模型，包括非純量 backward 呼叫。它還引入低精度模型最佳化，提升訓練過程的記憶體效率。

GDS Holdings 顯示，AI 相關資料中心訂單的增長速度快於已確認收入。這項趨勢反映需求強勁，但基礎設施擴建週期也使獲利延後。

隨著 AI 工作負載提高對系統資源的需求，Microsoft 正重新最佳化 8GB 以上裝置的 Windows 記憶體使用。文章認為，舊版相容性、整合服務、WebView2 與分散的資源管理，正壓縮本地模型和 AI Agent 可用的記憶體空間。

量子位報導星海圖與產業夥伴共同討論具身智能從模型走向生產力的路徑。文章強調透過產業協作，推動具身智能真正落地到多個行業。

OpenAI 表示 Codex 活躍使用者已突破 2,000 萬，第三方追蹤數據則顯示其近期增速超越 Claude Code。Claude Code 目前規模仍較大且深受開發者採用，但隨著 Anthropic 接近早期市場飽和，其高速成長已經放緩。