DGX Spark 用於 vLLM 本地推論設定
一位使用者拆箱 NVIDIA DGX Spark，用於教育應用程式的本地 LLM 推論，搭配 vLLM、PyTorch 和 Hugging Face 模型。他們尋求最佳模型、統一記憶體 vLLM 調校建議，以及實際吞吐量表現。這是從雲端 GPU 轉向本地設定的首次嘗試。
Search
Tag: #nvidia21 results
DeepGEMM nv_dev_c491439 開發版本發布
DeepSeek 在 GitHub 上發布 DeepGEMM 的 nv_dev_c491439 開發更新。此版本無詳細發布說明或變更日誌。可能針對 NVIDIA GPU 的矩陣乘法進行 AI 工作負載優化。
貓咪第一個發現玩家的 RTX 4090 燒毀
台灣玩家上廁所時，貓咪異常叫喚，一開門發現電腦冒煙並有燒塑膠味。RTX 4090 顯卡正在燃燒，但電腦無法關機，只能拔電源。玩家稱貓咪可能救了他一命。
3DMark 2001發布25週年 用RTX 5090來跑分會有多高？
3DMark 2001 迎來發布25週年，於2001年3月13日推出。它首次讓3DMark與基準測試概念走入大眾視野。文章探討用RTX 5090跑分會有多高。
Nvidia Rubin Speeds MoE Inference 10x Cheaper
Nvidia's Rubin platform features advanced NVLink interconnects to accelerate agentic AI, reasoning, and massive-scale MoE model inference at up to 10x lower cost per token. The article analogizes tech growth to a pyramid's limestone blocks, highlighting shifts from CPUs to GPUs and now efficient architectures. Groq complements this with ultra-fast inference to solve latency issues in real-time AI.
Inaugural NVIDIA AI Day Hits São Paulo
NVIDIA's worldwide AI Days tour stopped in São Paulo, Brazil. The event unites AI enthusiasts, developers, researchers, and startups. Focuses on code, compute, and community connections.
Nvidia's DMS Slashes LLM Costs 8x
Nvidia's DMS compresses LLM KV cache up to 8x, reducing memory costs without accuracy loss. Enables longer chain-of-thought reasoning and more parallel paths. Outperforms heuristic eviction and paging methods.