🕷️
SetupAI
EN
🦙較早收集於 2h

無審查 Nemotron-3-Super-120B MLX 版

PostLinkedIn
🦙閱讀原文： Reddit r/LocalLLaMA
#uncensored#quantization#mlx-supportnemotron-3-super-120bnemotron-3-super-120bmlxhuggingfacedealignai

💡無審查 120B 模型達 94% HumanEval – 本地編碼最佳開源權重。（48字元）

⚡ 30-Second TL;DR

有什麼變化

移除拒絕向量的無審查 4-bit MLX 模型

為什麼重要

透過 MLX 在 Apple 矽晶上實現高效無審查推理，在編碼和安全基準上可能媲美封閉模型，適用本地部署。

下一步行動

從 Hugging Face 下載並使用提供的 custom.py 在 MLX Studio 執行。

誰應關注：Developers & AI Engineers

關鍵要點

  • •移除拒絕向量的無審查 4-bit MLX 模型
  • •包含自訂 .py 和聊天模板供 MLX Studio 使用
  • •基準測試：HarmBench 97%、HumanEval 94%
  • •因獨特注意力機制無法使用 FP16 消融
  • •q6 和 q8 量化版明天發布

🧠 深度解析

背景與延伸：來自公開資料，非原文內容。引用 6 個來源。

🔑 增強重點摘要

  • •NVIDIA Nemotron 3 Super 於 2026 年 3 月 11 日在 GTC 發布，採用混合 Mamba-Transformer 架構，具有 120B 總參數但僅 12B 活躍參數，相比 GPT-OSS-120B 推理吞吐量高 2.2 倍[1][2]。
  • •LatentMoE 架構將令牌投影到較小的潛在維度以進行專家路由，改善每位元組的準確度；模型使用 NVFP4 量化訓練，是 Nemotron 3 系列中首個採用此精度的模型[6]。
  • •Nemotron 3 Super 在代理任務上表現顯著優於前代版本，SWE-Bench Verified 達 60.47%（相比 GPT-OSS 的 41.90%），並在 1M 令牌上的 RULER 基準達 91.75%[2]。
  • •模型支援最高 1M 令牌上下文長度，在 8k 輸入/16k 輸出設定下相比 Qwen3.5-122B 推理吞吐量高 7.5 倍，定位為多代理系統的效率優化方案[1][2]。
📊 競品分析▸ Show
特性Nemotron 3 SuperGPT-OSS-120BQwen3.5-122B
總參數120B120B122B
活躍參數12B120B122B
推理吞吐量相對值基準0.45x0.13x
MMLU-Pro83.73%81.00%86.70%
SWE-Bench Verified60.47%41.90%未公開
上下文長度1M1M1M
RULER @ 1M91.75%22.30%未公開
定位效率優化通用科學推理

🛠️ 技術深入

• 混合架構：交錯 Mamba-2 和 MoE 層，搭配選擇性注意力層；Mamba 提供線性時間複雜度，MoE 提供稀疏激活容量[4][6] • LatentMoE 機制：令牌投影到潛在維度進行專家路由（top-22 routing），維持 12.7B 活躍參數預算[4] • 多令牌預測（MTP）層：原生支援推測解碼，加速文本生成並改善品質[1][6] • NVFP4 量化：大多數線性層使用 NVFP4 處理權重、激活和梯度；潛在投影、MTP 層、QKV/注意力投影和嵌入層維持 BF16 或 MXFP8 以保證訓練穩定性[6] • 預訓練規模：25 兆令牌預訓練，後續使用監督微調（SFT）和強化學習（RL）[4] • 推理優化：在 NVIDIA B200 GPU 上使用 vLLM 和 TRT-LLM 測量，相比 MXFP4 精度的 GPT-OSS-120B 每 GPU 吞吐量高 11%[3]

🔮 前景展望AI analysis grounded in cited sources

MLX 量化版本將擴展本地部署可及性
Reddit 文章提及 q6/q8 量化版本即將推出，將使 Nemotron 3 Super 在消費級硬體上可運行，加速開源模型的邊緣部署採用。
無審查變體可能引發開源 AI 治理爭議
移除拒絕向量的版本與 NVIDIA 官方安全對齐工作相悖，可能促使業界重新評估開源模型發布的責任邊界。
混合 Mamba-Transformer 架構將成為效率標準
Nemotron 3 Super 在吞吐量與準確度間的帕累托優化表現，預示業界將採納稀疏激活混合架構作為大規模模型的主流設計範式。

⏳ 時間線

2026-03
NVIDIA Nemotron 3 Super 於 GTC 2026 發布（3 月 11 日），120B 參數混合 Mamba-Transformer 模型
2026-03
開發者在 Reddit r/LocalLLaMA 發布無審查 4-bit MLX 版 Nemotron 3 Super，包含自訂 Python 腳本和聊天模板
🦙閱讀原文： Reddit r/LocalLLaMA
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

同主題

探索 #uncensored

同產品

更多關於 nemotron-3-super-120b

同來源

最新來自 Reddit r/LocalLLaMA

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗

這是摘要，不是原文。去看原站，或訂閱每週簡報。

每週 AI 簡報

每週一封，可隨時退訂。