llama.cpp 獲得實驗性 MoE 專家擴展功能

有什麼變化

這個自訂分支的目標是支援 MoE 模型的 Expert expansion。

為什麼重要

如果這項功能能拓展到 Metal 以外的平台，可能為本地推論使用者提供另一種最佳化或擴展 MoE 模型專家執行的方法。不過目前證據仍屬初步，因為測試平台與模型覆蓋範圍有限。

下一步行動

複製 moex-expansion 分支，並在你的 CUDA、ROCm 或 Metal 環境中，以一個 MoE 模型與目前的 llama.cpp 版本進行基準測試。