🏠較早收集於 4h

Tiny Corp 發布 RTX 5090 macOS 開源驅動

Tiny Corp 發布 RTX 5090 macOS 開源驅動
PostLinkedIn
🏠閱讀原文: IT之家

💡macOS 首個可用 NVIDIA GPU 跑 LLM—立即測試外接 eGPU 推理(24字)

⚡ 30-Second TL;DR

有什麼變化

Tiny GPU 開源驅動支援 RTX 5090 於 macOS

為什麼重要

為 Mac AI 開發者解鎖 NVIDIA GPU,支援高效推理,無需換生態系統,雖效能有差距。

下一步行動

從 GitHub 下載 Tiny GPU 驅動,在 Mac 上用 RTX 5090 基準測試 Llama。

誰應關注:Developers & AI Engineers

關鍵要點

  • Tiny GPU 開源驅動支援 RTX 5090 於 macOS
  • Thunderbolt 直連 Mac mini M4 Pro,無 VM 損耗
  • Llama 3.1 8B 達 7.48 t/s;首 Token 比 Metal 快 3-4 倍
  • 依賴 Tiny Grad 編譯器,非原生 CUDA/Metal
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: IT之家