Search

Tag: #local-llm172 results

64GB Mac 陷入本地 LLM 死區

擁有 M2 Max Mac (64GB RAM) 的用戶發現本地 LLM 使用尷尬：Qwen3.5 35B A3B 表現平庸，27B MLX 4-bit 代理任務緩慢至 10 分鐘。強調 30B 平庸模型與 100B+ 前沿模型間的差距。

Reddit r/LocalLLaMACommunity•Apr 1#local-llm #apple-silicon #quantization

Reddit 討論比較單機運行一個強大 100B+ LLM，與多台 PC 運行多個 >20B 小型模型，均為 Q4 量化。假設兩者皆有足夠記憶體和良好效能。尋求社群對權衡的意見。

Reddit r/LocalLLaMACommunity•Mar 28#hardware #scaling #local-llm

用戶回報 GLM-4.7（專業方案）變得不穩定，可能因量化問題。尋求類似 GLM-4.7 效能的本地模型，適用於 4GB VRAM 與 24GB RAM 硬體。

Reddit r/LocalLLaMACommunity•Mar 28#low-vram #local-llm

使用雙 3090 (48GB VRAM) 與備用 3080 的使用者，質疑是否值得加第三張 GPU 達 60GB 以提升本地 AI 模型效能。系統有 128GB RAM；擔心硬體修改麻煩。

Reddit r/LocalLLaMACommunity•Mar 27#vram #local-llm #gpu-upgrade

使用者尋找適合 32GB PC（9800X3D、RTX 5080）與 16GB M5 MacBook Pro 的強大編碼 LLM。在兩裝置上嘗試多款模型，但皆有幻覺且無法遵循指示。偏好行動性更高的 MacBook。

Reddit 用戶對 TurboQuant 對本地 LLM 的影響表達興奮。向社群詢問預期發布日期。尋求對其能力的期望。

用戶讚揚 Qwen 27B 是低 VRAM/單 GPU 環境的最佳 LLM，在 24-48GB 上運行出色。尋求替代方案但目前無匹敵者。強調其本地推理強大效能。

Reddit r/LocalLLaMACommunity•Mar 24#low-vram #local-llm #open-model

使用者回報在手動配置 llama.cpp 以識別 Blackwell GPU 後，成功測試 Fine-tuning Studio。初始偵測問題已解決，工具現運作正常。使用者對開發者的努力表達衷心感謝。

Reddit r/LocalLLaMACommunity•Mar 17#fine-tuning #nvidia-gpu #local-llm

用戶探討使用開放模型本地運行無機器人 AI 筆記記錄器，用於轉錄、摘要和動作項目提取。挑戰包括處理混亂會議的交叉談話和上下文轉變。尋求社群建置此類工作流程經驗。

Reddit r/LocalLLaMACommunity•Mar 16#local-llm #transcription #productivity

Reddit 討論串詢問在模型快速成長中，DGX Spark（或 2 台叢集）能維持多久可用性。使用者讚賞單台運行 Qwen3-122B 的效能。尋求平衡愛好成本與未來需求的建議。

Reddit r/LocalLLaMACommunity•Mar 16#hardware #viability #cluster

Page 17 of 18