Search

直接匹配不多,已補上最新動態。

Tag: #moe-fusion1 results

🔬

KALAVAI 預測專家模型融合成功

KALAVAI 是一種方法,將獨立微調的專家模型透過輕量路由器融合成優越的 MoE,帶來 6-8% 的穩定提升,超越個別專家。提升可透過基於專家分歧的線性公式預測(R²=0.856)。跨語言結果令人興奮,無需資料共享即可大幅降低困惑度。

Reddit r/MachineLearningCommunityMar 25#moe-fusion#cross-lingual#predictive-gains