⚙️
在 RTX 4090 硬體上優化 DeepSeek v4 Flash
一份關於在 RTX 4090 與 128GB RAM 上執行 DeepSeek v4 Flash 的用戶報告。文章詳細說明了特定的效能瓶頸，包括 CPU 核心綁定與 CUDA 緩衝區管理。
Search
Tag: #inference127 results
⚙️
評估用於 LLM 推論的雲端 GPU 供應商
一位機器學習工程師正在尋求社群建議，探討比較雲端 GPU 供應商以進行 LLM 推論的最佳指標與方法。討論重點在於如何平衡成本、吞吐量與可靠性。
廣告無需點擊洩私隱給AI，研究發現
新研究顯示，線上廣告包含足夠資料，讓AI重建詳細個人檔案。此推斷無需使用者點擊或明確分享資料。凸顯數位廣告隱私風險日益增加。
🔬
INT8 精度勝過 FP16
深度學習從業人員觀察到 ONNX 導出模型上，INT8 訓練後量化推理精度高於 FP16，超出相對於 FP32 基準的預期。尋求此異常解釋。
對話魔形智能CEO徐凌杰：token出海沒考慮算力成本，當下不現實
魔形智能CEO徐凌杰認為，token出海忽略算力成本，目前不現實。關鍵議題涵蓋超節點、Token工廠、電力出海及推理優化。
🤖
Bartowski 對 Unsloth Gemma 4 量化比較
貼文討論 Gemma 4 26B A4B q4_k_m 的 Bartowski 量化與 OpenRouter/AI Studio 完整模型效能比較。使用者報告 Bartowski 量化表現極佳。尋求社群對 26B A4B 和 31B 最佳量化的見解。
📰
llama.cpp 中的 Gemma 4 修復
llama.cpp 已合併多項 Gemma 4 修復，解決聊天中的循環問題。這些修復優於 transformers 庫實現。更好提示詞也能避免過度思考，如 OpenCode 測試所示。
AMD R9700 96GB VRAM 勝過 5090 價格
Reddit 貼文讚揚 AMD R9700 擁有 96GB VRAM，提供 RTX 5080 等級推理速度與品質。宣稱價格低於 RTX 5090，適合未來 AI 節點。使用者為第二張模糊照片致歉。
⚙️
Linux 讓 Ollama 推論速度比 Windows 快一倍
家用實驗室用戶比較 Ubuntu 22.04 與 Windows 10 上的 Ollama，發現 Linux 令牌/秒快 72-118%。測試使用 RTX 8000 48GB GPU 和 i9-9900K 上的 Qwen 模型。
ASICs於AI推理崛起對抗GPUs
ASICs因成本較低及功耗僅GPU的1/10而在推理中崛起，適合如Groq僅支援25種模型的固定場景。GPUs主導訓練，尤其是LLM，因靈活性及依賴Nvidia生態。中大型雲廠與Marvell/Broadcom合作開發ASIC。