Gemma 4 MTP 逆向工程進展

#reverse-engineering#mobile-ai#quantizationgemma-4gemma-4tflitepytorchhuggingface

💡透過社群逆向工程解鎖 Gemma 4 本地 PyTorch 使用（儲存庫已備）。

⚡ 30-Second TL;DR

有什麼變化

從 .litertlm 提取為多個 INT8 量化 .tflite 檔案，可能經 QAT 訓練

為什麼重要

這可能解鎖 Gemma 4 的行動張量處理功能，加速邊緣裝置上的開源行動 AI 本地部署。

下一步行動

複製 Hugging Face 儲存庫並檢視 extracted graphdef JSON 進行去量化實驗。

誰應關注：Developers & AI Engineers

本篇為 AI 生成分析，非原文內容。

•Gemma 4 MTP（Multi-Token Prediction）架構採用了與 Gemini 2.0 類似的並行預測頭（Parallel Prediction Heads）設計，旨在提升推理效率並減少延遲。
•此次逆向工程的難點在於 Google 的 LiteRT（前身為 TensorFlow Lite）在處理 MTP 權重時使用了自定義的算子映射，導致標準轉換工具無法直接識別。
•社群研究人員發現，這些 .tflite 檔案中嵌入了特殊的元數據標籤，暗示了該模型在邊緣設備上運行時，可能具備動態調整計算精度的能力。

•模型架構：基於 Transformer 的解碼器，額外增加了用於多標記預測的並行輸出層（Parallel Heads）。
•量化機制：採用了針對邊緣設備優化的 INT8 對稱量化，並在權重中保留了用於反量化的縮放因子（Scale Factors）。
•轉換挑戰：LiteRT 格式將模型圖（Graph）序列化為 FlatBuffers，逆向過程需手動解析 GraphDef JSON 以重建計算圖的拓撲結構。
•工具鏈：利用 Google AI Edge Model Explorer 進行圖結構視覺化，並結合自定義的 Python 腳本將 TFLite 算子映射回 PyTorch 的 nn.Module 定義。