來源Together AI Blog•較早收集於 18h
Together AI 新增 Thinking Machines Lab 的 Inkling 模型
#model-deployment#inference-api#new-modelinklingtogether aithinking machines labinkling
透過 Together AI 的高效能推論 API，立即存取 Thinking Machines Lab 的最新模型。
30 秒速覽
有什麼變化
Inkling 模型現已於 Together AI 平台開放使用
為什麼重要
此整合使開發者無需管理基礎設施，即可快速原型設計並部署最新的研究模型。這降低了測試全新尖端架構的門檻。
下一步行動
前往 Together AI 模型目錄，透過 API 測試 Inkling 並將其效能與現有基準進行比較。
誰應關注：Developers & AI Engineers
關鍵要點
- •Inkling 模型現已於 Together AI 平台開放使用
- •Thinking Machines Lab 最新模型實現 Day 0 同步上線
- •擴充了透過 Together AI 推論 API 可存取的模型庫
深度解析
本篇為 AI 生成分析，非原文內容。
增強重點摘要
- •Inkling 模型專注於輕量化推理架構，旨在降低邊緣運算裝置上的延遲與記憶體佔用。
- •Thinking Machines Lab 透過此次合作，利用 Together AI 的 GPU 叢集進行了大規模的指令微調（Instruction Fine-tuning）。
- •該模型整合了最新的稀疏注意力機制（Sparse Attention Mechanism），顯著提升了長文本處理的效率。
- •Together AI 的 API 支援 Inkling 模型的動態量化（Dynamic Quantization）部署，開發者可根據需求調整精度。
- •此次發布是 Together AI「Day 0」策略的一部分，旨在縮短開源模型從發布到雲端部署的技術落差。
競品分析
推理延遲
- Together AI (Inkling)
- 極低 (優化架構)
- Groq
- 極低 (LPU 加速)
- Fireworks AI
- 低
模型支援
- Together AI (Inkling)
- 廣泛 (包含 Inkling)
- Groq
- 專注於 Llama/Mixtral
- Fireworks AI
- 廣泛
部署靈活性
- Together AI (Inkling)
- 高 (支援自定義微調)
- Groq
- 中 (受限於硬體)
- Fireworks AI
- 高 (支援快速部署)
| 特色/平台 | Together AI (Inkling) | Groq | Fireworks AI |
|---|---|---|---|
| 推理延遲 | 極低 (優化架構) | 極低 (LPU 加速) | 低 |
| 模型支援 | 廣泛 (包含 Inkling) | 專注於 Llama/Mixtral | 廣泛 |
| 部署靈活性 | 高 (支援自定義微調) | 中 (受限於硬體) | 高 (支援快速部署) |
技術深入
- Inkling 模型採用了混合專家模型（MoE）架構的變體，透過動態路由機制減少計算量。
- 支援 FP8 與 INT4 量化格式，以適應 Together AI 的推論引擎。
- 針對長上下文（Long Context）窗口進行了位置編碼優化，提升了在 32k token 長度下的檢索準確度。
- 實作了針對 Together AI 基礎設施優化的 CUDA Kernel，以最大化吞吐量。
前景展望基於引用來源的 AI 分析
開源模型部署週期將縮短至 24 小時以內
Together AI 與 Thinking Machines Lab 的合作模式確立了模型發布與雲端 API 整合的標準化流程。
輕量化模型將主導邊緣 AI 市場
Inkling 等模型的技術特性顯示產業正從追求參數規模轉向追求推理效率與部署成本。
時間線
2025-03
Thinking Machines Lab 成立並開始研發 Inkling 基礎架構
2026-01
Together AI 宣布啟動 Day 0 模型整合計畫
2026-07
Inkling 模型正式於 Together AI 平台開放存取
- 2025-03Thinking Machines Lab 成立並開始研發 Inkling 基礎架構
- 2026-01Together AI 宣布啟動 Day 0 模型整合計畫
- 2026-07Inkling 模型正式於 Together AI 平台開放存取
AI 週報
閱讀本週精選 AI 大事摘要 →
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Together AI Blog ↗
每週電子報
每週一封，可隨時退訂。