Beelink ME Pro 新增 Ryzen AI 9 HX 470 版本
Beelink 推出搭載 AMD Ryzen AI 9 HX 470 的 ME Pro NAS 迷你主機，提供雙硬碟槽與四硬碟槽版本。新機售價 4,795 元人民幣起，但相較現有 HX 370 版本主要只是處理器更新。
Search
Tag: #local-inference188 results
Panther Lake 打造小巧 AI 工作站
GMKtec Evo-T2 是一款採用 Intel 18A Panther Lake 晶片、定位為個人 AI 工作站的迷你電腦。搭載 64GB LPDDR5X-8533 記憶體，也能應付辦公生產力與遊戲工作負載。
⚙️
預算有限如何挑選本地 AI GPU
一名 Reddit 使用者尋求打造預算型電腦的建議，主要用於本地 AI 推論，以及對 10B 以下模型進行 LoRA/QLoRA 微調。主要選項是約 770 美元的 16GB RTX 5060 Ti，或價格可能更低的 16GB RTX 4060 Ti；CUDA 支援與 VRAM 容量比遊戲效能更重要。
RTX 5090 被綁在八主機板套裝中
台灣電商平台 PChome24h 據報將 Nvidia RTX 5090 顯示卡與八張主機板、額外顯示卡及其他零組件綁售。這種不尋常的包裝突顯市場對高需求 GPU 取得受限的疑慮，也讓人聯想到加密貨幣熱潮時期的缺貨現象。
從遊戲主機升級為私有 AI 叢集
一名 LocalLLaMA 使用者記錄了多年升級歷程，從搭載 RTX 3090 的遊戲電腦，發展為結合四張 RTX 6000 Pro Max Q 與四張 RTX 3090 的專用叢集。這套系統以本地推論、資料隱私與實驗為主要目標，同時也凸顯電力、PCIe 與可靠性方面的重大挑戰。
🤖
Qwen 3.8 粉絲期待更快的本地 27B 模型
LocalLLaMA 使用者期待傳聞中或即將推出的 Qwen 3.8 dense 27B 模型。該使用者表示，目前在 M5 上執行 Qwen 3.6 27B Q4 的速度很快，程式編寫表現也持續達到堪用程度；貼文同時主張將個人 LLM 部署在本地端。
傳逾百台 48GB 記憶體 M4 MacBook Pro 將遭銷毀
據爆料，一家未具名的科技巨頭在關閉分支機構並完成裁員後，計畫銷毀逾 100 台配備高容量記憶體的 M4 MacBook Pro。此消息在 DRAM 嚴重短缺、各界呼籲企業重複利用硬體以減少電子垃圾之際，引發批評。
🤖
尋找 LLM 量化的最佳位元寬度
一名 Reddit 使用者詢問，在固定記憶體與運算預算下，目前的理論或實證研究是否已找出 LLM 最佳的每權重位元數。討論比較以 3-bit、2-bit 或約 1.5-bit 精度運行的大型模型，與採用 4-bit 或 8-bit 的較小模型，並特別關注 GGUF 等開源格式。
22GB RTX 2080 Ti 改裝卡登上 eBay，售價 499 美元
搭載 22GB 記憶體的預先改裝 RTX 2080 Ti 顯示卡現身 eBay，售價約 499 美元。這項升級主要面向需要更多 VRAM 來執行大型模型與工作負載的本地 AI 使用者。
RTX 50 顯示卡在 QuakeCon 回到建議零售價
NVIDIA 在 QuakeCon 開設快閃店，以官方建議零售價限量提供 RTX 50 系列 Founders Edition 顯示卡。這項名為「Verified Priority Access IRL」的活動於美國德州格雷普韋恩舉行，以慶祝 QuakeCon 20 週年。