llama.cpp 同時支援 CUDA + ROCm

💡llama.cpp 同時 CUDA+ROCm 運行—多 GPU 突破（48字元）

⚡ 30-Second TL;DR

有什麼變化

-DGGML_BACKEND_DL=ON 實現 CUDA+ROCm 混合：63/63 層卸載

為什麼重要

解鎖混合 GPU 使用，提升多廠商設定下的大型模型預填充。

下一步行動

使用 -DGGML_BACKEND_DL=ON 編譯 llama.cpp，並測試混合 CUDA/ROCm 卸載。

誰應關注：Developers & AI Engineers

AI-generated analysis for this event.

•GGML_BACKEND_DL 旗標利用動態載入（Dynamic Loading）機制，允許在執行時期（Runtime）同時載入多個後端驅動程式，解決了過去編譯時必須二選一的限制。
•此混合架構顯著降低了對單一 GPU 記憶體容量的依賴，透過將運算負載分散至異質硬體（NVIDIA 與 AMD GPU），實現了超大型模型在消費級硬體上的推論可行性。
•此技術路徑繞過了 Vulkan 後端在處理複雜 Flash Attention 實作時的效能瓶頸，直接呼叫各家廠商的原生核心（Kernel），在長上下文（Long Context）處理上表現出更佳的記憶體頻寬利用率。

•GGML_BACKEND_DL 實作細節：透過 dlopen/dlsym 機制在執行時期動態載入 libggml-cuda.so 與 libggml-hip.so，並在 ggml_backend_reg 註冊表中進行管理。
•記憶體映射（Memory Mapping）：利用系統層級的記憶體管理，將模型權重分段映射至不同 GPU 的 VRAM，並透過 PCIe 通道進行跨裝置的張量同步。
•Flash Attention 支援：在混合模式下，llama.cpp 透過檢查各後端對 Flash Attention 的支援度，自動將注意力機制運算分配至支援度最高的裝置，減少 CPU 參與運算的開銷。

異質 GPU 混合運算將成為本地端大型語言模型推論的標準配置。

隨著模型參數規模持續擴大，單一消費級 GPU 的 VRAM 容量已無法滿足需求，混合多品牌 GPU 將成為延長硬體使用壽命的關鍵技術。

llama.cpp 的動態後端載入將推動更多開源專案採用模組化架構。

此架構成功證明了在不重新編譯的情況下整合多種硬體後端的可行性，將降低開發者維護多平台支援的複雜度。

2023-08

llama.cpp 正式引入 ROCm 支援，開始支援 AMD GPU 推論。

2024-02

llama.cpp 導入 GGML 後端抽象層（Backend Abstraction），為後續多後端整合奠定基礎。

2025-01

llama.cpp 強化動態載入功能，允許在執行時期切換不同的運算後端。

2026-03

社群驗證透過 GGML_BACKEND_DL 旗標實現 CUDA 與 ROCm 的混合並行運算。

AI 週報

閱讀本週精選 AI 大事摘要 →

同主題

探索 #multi-backend

同產品

更多關於 llama.cpp

同來源

最新來自 Reddit r/LocalLLaMA

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗