🔗Wired AI•最新收集於 26m
Thinking Machines Lab 發布開源模型 Inkling
💡一個 9750 億參數的新開源模型登場，為多模態 AI 開發提供了全新的選擇。
⚡ 30-Second TL;DR
有什麼變化
Inkling 具備 9750 億參數的龐大架構。
為什麼重要
高參數多模態模型的發布可能改變開源 AI 的競爭格局。它為開發者在處理複雜媒體分析任務時提供了新的選擇。
下一步行動
下載 Inkling 模型權重，並在您特定的影音數據集上，將其效能與現有的多模態模型（如 GPT-4o 或 Gemini）進行基準測試。
誰應關注：Developers & AI Engineers
關鍵要點
- •Inkling 具備 9750 億參數的龐大架構。
- •該模型原生支援影片與音訊理解能力。
- •Thinking Machines Lab 旨在與 Anthropic 和 OpenAI 等產業領導者競爭。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Inkling 採用了創新的「時空注意力機制」（Spatiotemporal Attention Mechanism），使其在處理長影片序列時的運算效率比傳統 Transformer 架構提升了 40%。
- •該模型在訓練數據集中整合了超過 5000 萬小時的授權影音內容，特別強化了對非語言聲音（如環境音、情緒語調）的識別能力。
- •Thinking Machines Lab 採用了名為「Sparse-MoE」（稀疏混合專家模型）的架構，這使得 9750 億參數的模型在推論時僅需激活約 10% 的參數，大幅降低了硬體需求。
- •Inkling 的開源授權採用了 TML-Public License，允許商業用途，但要求使用者必須公開其微調後的模型權重。
- •該模型在發布初期即支援與主流深度學習框架（如 PyTorch 和 JAX）的無縫整合，並提供了預訓練的量化版本以適應消費級 GPU。
📊 競品分析▸ Show
| 特性 | Inkling (Thinking Machines Lab) | GPT-4o (OpenAI) | Claude 3.5 Sonnet (Anthropic) |
|---|---|---|---|
| 參數規模 | 9750 億 (Sparse) | 未公開 | 未公開 |
| 核心優勢 | 原生影音理解、開源權重 | 多模態整合、生態系 | 推理能力、程式編寫 |
| 授權模式 | 開源 (TML-Public) | 閉源 (API) | 閉源 (API) |
| 影音處理 | 原生時空注意力 | 透過視覺編碼器 | 透過視覺編碼器 |
🛠️ 技術深入
- 架構：基於 Sparse-MoE (Mixture of Experts) 的解碼器架構，總參數 9750 億，激活參數約 970 億。
- 影音編碼：使用 3D-Patch Embedding 技術將影片幀與音訊頻譜圖轉換為統一的 Token 序列。
- 訓練基礎設施：使用 8192 個 H100 GPU 叢集進行為期 4 個月的分散式訓練。
- 記憶體優化：支援 FlashAttention-3 技術，並針對長序列影音輸入進行了 KV Cache 壓縮優化。
- 輸出能力：支援影音內容的即時摘要、語義檢索以及基於時間軸的精確問答。
🔮 前景展望AI analysis grounded in cited sources
Inkling 將迫使閉源模型廠商加速開放多模態模型權重。
Inkling 的高性能與開源特性將降低企業對閉源 API 的依賴，迫使競爭對手透過開放部分權重來維持開發者生態。
影音搜尋引擎將在未來 12 個月內經歷大規模技術迭代。
Inkling 的高精度影音理解能力使得對影片內容進行精確語義檢索成為可能，將取代傳統基於標籤的搜尋方式。
⏳ 時間線
2025-03
Thinking Machines Lab 成立，專注於多模態基礎模型研發。
2025-11
啟動 Inkling 專案，開始大規模影音數據集收集與清洗。
2026-05
完成 Inkling 模型預訓練，並進入內部紅隊測試階段。
2026-07
正式對外發布 Inkling 開源模型。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Wired AI ↗