Search

直接匹配不多,已補上最新動態。

Tag: #cheap-vram1 results

K80 6-GPU 多工器:0.3ms 模型熱切換

K80 6-GPU 多工器:0.3ms 模型熱切換

DIY 系統使用自訂 Linux 核心模組,在 BTC-S37 主機板上多工 3 張 NVIDIA K80 卡的 6 個 GPU 晶片,實現小於 1ms 的模型切換。提供約 200 美元的 72GB VRAM,在 RWKV-X 0.2B INT8 上達 38 tok/s。純 C 推論引擎支援每個晶片持久模型,低成本硬體。

Reddit r/LocalLLaMACommunityMar 18#gpu-multiplexing#cheap-vram#kernel-hack
Ox Alpha:神秘模型公開亮相

Ox Alpha:神秘模型公開亮相

Ox Alpha 是一款透過 OpenRouter 與 OpenCode 提供的匿名模型,具備 100 萬 token 上下文、圖片與影片輸入、工具呼叫及免費使用等能力。早期測試顯示其推理與程式設計表現強勁,但開發者、參數量、訓練資料與正式基準排名仍未獲確認。