Search

Tag: #gpu-cluster17 results

Kimi K3 在雙叢集上本地運行

Kimi K3 在雙叢集上本地運行

一名 LocalLLaMA 使用者分享了首次本地執行 Kimi K3 的經驗,透過 llama.cpp 的 RPC 橫跨兩個 GPU 叢集運行。目前配置依賴部分卸載與 IQ1_M 量化,後續計畫整合 GPU 並升級至 Q2_K_XL,以改善速度與品質。

Reddit r/LocalLLaMACommunityAug 8#quantization#rpc#gpu-cluster
Page 2 of 2