GreenBoost 以 RAM 與 NVMe 擴充 NVIDIA VRAM

🔑 增強重點摘要

• •GreenBoost 採用三層記憶體架構（T1: GPU VRAM、T2: DDR4 RAM、T3: NVMe），透過 PCIe 4.0 實現約 32 GB/s 頻寬，用於存放 KV cache 和冷層權重。[1]
• •作為獨立 kernel module（greenboost.ko），使用 buddy allocator 分配 2 MB 固定 DDR4 頁面，並透過 DMA-BUF 和 CUDA external memory 匯入 GPU，無需修改 NVIDIA 官方驅動。[1]
• •支援自動偵測 GPU VRAM、RAM 大小、CPU 拓撲及 NVMe 容量，安裝時透過 greenboost_setup.sh 計算最佳參數，測試於 Ubuntu 26.04、kernel 6.19 和 NVIDIA driver 580.x。[1]

🛠️ 技術深入

• •Kernel module (greenboost.ko) 分配固定 DDR4 頁面 (2 MB compound pages) 並匯出為 DMA-BUF，GPU 透過 cudaImportExternalMemory 匯入，模擬裝置記憶體。[1]
• •三層分級：T1 (RTX 5070 12 GB VRAM, 336 GB/s) 用於熱層；T2 (51 GB DDR4, 32 GB/s PCIe) 用於 KV cache 和冷權重；T3 (64 GB NVMe, 1.8 GB/s) 作為溢位備用。[1]
• •相容 DDR4-3600 和 Samsung 990 EVO Plus 4 TB NVMe，32 GB 模型在 32K 上下文下僅需 T1+T2，T3 罕用。[1]
• •安裝命令：sudo ./greenboost_setup.sh full-install，自動優化參數，不取代 nvidia.ko 或 nvidia-uvm.ko。[1]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線