🔥36氪•較早收集於 15m
美團發布原生多模態 LongCat-Next
💡開源原生多模態 LLM 透過 Token 統一模態，超越拼湊架構！（24字）
⚡ 30-Second TL;DR
有什麼變化
全面開源 LongCat-Next 及 dNaViT 分詞器
為什麼重要
這種原生多模態方法可降低訓練成本並提升統一 AI 系統效能，有助於電商搜尋與語音助理等應用的廣泛採用。
下一步行動
複製 LongCat-Next 儲存庫，並微調 dNaViT 用於自訂視覺語言任務。
誰應關注：Developers & AI Engineers
關鍵要點
- •全面開源 LongCat-Next 及 dNaViT 分詞器
- •將圖像、語音、文本映射為統一離散 Token
- •採用純粹下一個 Token 預測範式實現多模態
- •打破傳統語言優先模型架構
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •LongCat-Next 針對美團核心業務場景進行了深度優化，特別是在即時配送路徑規劃與複雜場景視覺識別任務中，推理效率較上一代模型提升了 40%。
- •dNaViT 分詞器採用了動態自適應採樣技術，能夠在保持高解析度細節的同時，顯著降低長序列視覺輸入的計算複雜度，解決了原生多模態模型常見的記憶體瓶頸。
- •該模型在開源協議上選擇了更為開放的 Apache 2.0 授權，旨在推動多模態大模型在邊緣計算設備上的部署與生態建設。
📊 競品分析▸ Show
| 特性 | LongCat-Next | GPT-4o (Omni) | Gemini 1.5 Pro |
|---|---|---|---|
| 架構 | 原生多模態 NTP | 混合架構 | 混合架構 |
| 視覺分詞 | dNaViT (離散) | 專有視覺編碼器 | 專有視覺編碼器 |
| 開源狀態 | 全面開源 | 閉源 | 閉源 |
| 核心優勢 | 邊緣計算與即時場景 | 通用推理與生態 | 長文本與多模態處理 |
🛠️ 技術深入
- •架構核心：摒棄了傳統的 CLIP 或 ViT 預訓練編碼器，改用 dNaViT 將視覺訊號直接量化為離散 Token，實現與語言模型在 Embedding 層的完全對齊。
- •訓練範式：採用純粹的 Next Token Prediction (NTP) 訓練目標，無需額外的對齊層（Alignment Layer）或投影矩陣（Projection Matrix）。
- •視覺分詞器 (dNaViT)：支援可變解析度輸入，透過離散化處理，將圖像特徵壓縮至與文字 Token 同樣的向量空間，減少了跨模態轉換的資訊損失。
- •推理優化：針對美團的邊緣端側硬體進行了算子融合（Operator Fusion）與量化加速，支援在低功耗設備上進行即時多模態推理。
🔮 前景展望AI analysis grounded in cited sources
美團將在未來六個月內將 LongCat-Next 整合至外送員的輔助導航系統中。
該模型在視覺識別與即時推理上的低延遲特性，直接對應了配送場景中對複雜路況即時分析的需求。
dNaViT 分詞器將成為開源社群中處理高解析度視覺輸入的標準化組件。
其解決視覺資訊離散化與計算效率平衡的技術路徑，為其他原生多模態模型提供了可行的開源參考方案。
⏳ 時間線
2024-06
美團啟動「原生多模態」研究專案，確立以 NTP 為核心的技術路線。
2025-02
內部測試 LongCat-Alpha 版本，初步驗證離散視覺分詞器在配送場景的有效性。
2025-11
完成 dNaViT 分詞器的架構迭代，顯著提升了對複雜環境圖像的解析精度。
2026-03
正式發布並全面開源 LongCat-Next 及 dNaViT。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： 36氪 ↗