Search

直接匹配不多,已補上最新動態。

Tag: #per-layer-embeddings2 results

Google 以 Apache 2.0 授權發布 Gemma 4

Google 以 Apache 2.0 授權發布 Gemma 4

Google DeepMind 以寬鬆的 Apache 2.0 授權發布 Gemma 4,消除了先前阻礙企業採用的自訂限制。此模型系列包含邊緣與工作站兩個層級的四種變體,支持多模態輸入與長上下文視窗。這與某些中國實驗室限制開放性形成對比,同時源自 Gemini 3 研究。

🔬

Gemma 4 的逐層嵌入解釋

解釋 Gemma 4 小型模型如 gemma-4-E2B 和 gemma-4-E4B,使用逐層嵌入而非傳統 MoE 或密集架構。這些模型有大量嵌入參數(例如 E2B 的 2.8B),Google 不計入「有效」參數數,實現獨特推論權衡。對比 MoE 如 gemma-4-26B-A4B,其中僅 4B 參數活躍。

Reddit r/LocalLLaMACommunityApr 5#per-layer-embeddings#moe-alternative#gemma-4-small
Ox Alpha:神秘模型公開亮相

Ox Alpha:神秘模型公開亮相

Ox Alpha 是一款透過 OpenRouter 與 OpenCode 提供的匿名模型,具備 100 萬 token 上下文、圖片與影片輸入、工具呼叫及免費使用等能力。早期測試顯示其推理與程式設計表現強勁,但開發者、參數量、訓練資料與正式基準排名仍未獲確認。