MiniMax M2.7 GGUF 修復 NaN 並基準測試

💡修復 MiniMax GGUF NaN + 基準，穩定本地執行 (18字元)

⚡ 30-Second TL;DR

有什麼變化

21-38% GGUF NaN 來自 blk.61.ffn_down_exps 溢位

為什麼重要

提升 MiniMax-M2.7 在 llama.cpp 的本地推理可靠性，對評估與部署至關重要。

下一步行動

從 unsloth/MiniMax-M2.7-GGUF 下載修復量化，避免 NaN 評估。

誰應關注：Developers & AI Engineers

AI-generated analysis for this event.

•MiniMax M2.7 採用了混合專家模型（MoE）架構，其特殊的權重分佈導致在進行 GGUF 量化時，特定層級的權重數值範圍超出了標準 Q4_K_S 量化格式的動態範圍。
•Unsloth 團隊發現該問題不僅限於 GGUF 格式，還與 llama.cpp 在處理 MoE 模型專家路由（Expert Routing）時的緩衝區分配機制存在邊界條件衝突。
•此次修復引入了針對 MoE 權重的動態縮放因子（Dynamic Scaling Factor），確保在不顯著犧牲困惑度（Perplexity）的前提下，解決了高位數溢位導致的 NaN 輸出問題。

模型架構：MiniMax M2.7 為 MoE 架構，包含多個專家層（Expert Layers），其中 blk.61.ffn_down_exps 為關鍵瓶頸層。
溢位機制：GGUF 量化過程中，由於該層權重分佈極端，導致在 32 個權重組成的區塊（Chunk）中，數值超出 FP16/INT4 轉換的表示範圍。
解決方案：透過調整量化參數，強制對該特定層級進行更精細的數值截斷或重新歸一化，以適應 llama.cpp 的量化算子。