Search

直接匹配不多,已補上最新動態。

Tag: #moe-alternative1 results

🔬

Gemma 4 的逐層嵌入解釋

解釋 Gemma 4 小型模型如 gemma-4-E2B 和 gemma-4-E4B,使用逐層嵌入而非傳統 MoE 或密集架構。這些模型有大量嵌入參數(例如 E2B 的 2.8B),Google 不計入「有效」參數數,實現獨特推論權衡。對比 MoE 如 gemma-4-26B-A4B,其中僅 4B 參數活躍。

Reddit r/LocalLLaMACommunityApr 5#per-layer-embeddings#moe-alternative#gemma-4-small
Ox Alpha:神秘模型公開亮相

Ox Alpha:神秘模型公開亮相

Ox Alpha 是一款透過 OpenRouter 與 OpenCode 提供的匿名模型,具備 100 萬 token 上下文、圖片與影片輸入、工具呼叫及免費使用等能力。早期測試顯示其推理與程式設計表現強勁,但開發者、參數量、訓練資料與正式基準排名仍未獲確認。