律師的 256GB VRAM LLM 叢集建置
一位律師使用 Threadripper 建置 256GB VRAM 節點，含 8 張 Nvidia V100，用於法律文件本地 RAG 及 QLORA 訓練。採用 NVLink 直通板、雙 PSU，計劃多節點叢集包含 3090 及其他舊 GPU。尋求電源線及機殼建議。
Search
直接匹配不多，已補上最新動態。
Tag: #local-setup4 results
📰
最佳低階本地AI編碼建置
用戶推薦Ryzen 5 5600X、32GB RAM、RTX 3070 8GB建置，搭配llama.cpp CUDA及OmniCoder-9B Q4_K_M，用於穩定編碼。包含Qwen Code CLI及Superpowers工具；測試替代如Opencode + GLM-5。平衡速度品質，適合入門中階任務，全本地。
🤖
本地工具呼叫仍不穩定
使用者回報 Qwen3.5/3.6 27B/35B、Gemma4 26B、GPS-OSS 20B 等本地模型工具呼叫不可靠，使用 Open WebUI 及 LM Studio。即使用 Unsloth 參數，仍有幻覺、不存在檔案、空輸出及執行迴圈問題。質疑是否模型限制或設定錯誤。
⚙️
尋求 LLM 硬體成本計算工具
用戶尋求工具計算 Qwen 3.6 27B 達可接受速度的最便宜設定。需求包括各量化 VRAM、多 GPU 需求、t/s 估計、RAM/CPU 建議、功耗/成本，以及 GPU 比較。指出缺乏系統性資源，僅有零散基準。
768 組外洩 AWS 金鑰仍可提供危險權限
Truffle Security 發現 768 組外洩的 AWS 金鑰，可對企業帳戶提供廣泛控制權，其中包括 526 組根金鑰。在受測憑證中，仍有 88% 處於啟用狀態；而 AWS 的隔離政策仍允許許多具破壞性的操作。
AI 需求先暴增，利潤仍在路上
GDS Holdings 顯示，AI 相關資料中心訂單的增長速度快於已確認收入。這項趨勢反映需求強勁，但基礎設施擴建週期也使獲利延後。
TikTok 以 4 億美元和解美國兒童隱私案件
TikTok 與 ByteDance 同意支付 4 億美元，和解美國司法部提起的案件；該案指控數百萬名未滿 13 歲兒童使用平台，且其資料在未獲家長同意下遭到蒐集。愛爾蘭監管機構也曾在 2023 年因兒童帳戶問題對 TikTok 罰款 3.45 億歐元。
Windows 為何成為 AI PC 的絆腳石
隨著 AI 工作負載提高對系統資源的需求，Microsoft 正重新最佳化 8GB 以上裝置的 Windows 記憶體使用。文章認為，舊版相容性、整合服務、WebView2 與分散的資源管理，正壓縮本地模型和 AI Agent 可用的記憶體空間。
具身智能開啟 PMF 長跑
文章探討具身智能如何進入一場長期尋找產品市場契合度（PMF）的過程。文章認為，商業成功不會立即到來，因為技術路線仍未定型，而場景與規模之爭才剛開始。
生成式AI正擊穿大學線上考試
一份最新報告警告，生成式AI正助長大學無人監考線上考試中的大規模作弊。相關機構敦促高校重新檢視這類評量，因為考試很容易被繞過，可能已無法可靠衡量學生的知識。