Search

直接匹配不多,已補上最新動態。

Tag: #hybrid-arch1 results

🤖

Nemotron 3 Nano微調策略

自學從業者轉向微調NVIDIA的Nemotron 3 Nano(混合Mamba-MoE)用於多任務推理,尋求相對於密集模型的策略變更。主要疑慮:MoE路由器/Mamba-2的LoRA、負載平衡、遺忘。使用H100上40-80k蒸餾範例。

Reddit r/MachineLearningCommunityApr 26#fine-tuning#hybrid-arch#multi-task
Ox Alpha:神秘模型公開亮相

Ox Alpha:神秘模型公開亮相

Ox Alpha 是一款透過 OpenRouter 與 OpenCode 提供的匿名模型,具備 100 萬 token 上下文、圖片與影片輸入、工具呼叫及免費使用等能力。早期測試顯示其推理與程式設計表現強勁,但開發者、參數量、訓練資料與正式基準排名仍未獲確認。