🤝較早收集於 17h

Together AI 與 Pearl Research Labs 合作降低推論成本

Together AI 與 Pearl Research Labs 合作降低推論成本
PostLinkedIn
🤝閱讀原文: Together AI Blog

💡了解如何透過「有用工作證明」將運算轉化為加密貨幣排放,進而降低您的 AI 推論成本。

⚡ 30-Second TL;DR

有什麼變化

推出 Gemma-4-31B-it-pearl 模型的折扣推論端點

為什麼重要

此合作透過利用加密貨幣挖礦基礎設施來補貼運算成本,為 AI 推論引入了一種創新的經濟模式。這可能為執行大規模開源權重模型的開發者提供更實惠的選擇。

下一步行動

在 Together AI 上測試 Gemma-4-31B-it-pearl 端點,評估其成本節省是否符合您的生產延遲需求。

誰應關注:Developers & AI Engineers

關鍵要點

  • 推出 Gemma-4-31B-it-pearl 模型的折扣推論端點
  • 整合「有用工作證明」以抵銷 AI 運算成本
  • Together AI 與 Pearl Research Labs 達成策略合作

🧠 深度解析

Web-grounded analysis with 23 cited sources.

🔑 增強重點摘要

  • Together AI 透過其「加速雲端」基礎設施,提供針對開源模型優化的雲端推論平台,並在2025年2月20日完成3.05億美元的B輪融資,使其估值達到33億美元,旨在擴展其AI基礎設施並部署NVIDIA Blackwell GPU。
  • Pearl Research Labs 推出的「有用工作證明」(Proof of Useful Work, PoUW) 協議,是一個基於L1區塊鏈的設計,其挖礦過程是透過任意矩陣乘法(現代AI運算的核心操作)的副產品來完成,旨在將能源、數據和貨幣結合為單一原子數位資產,並取代傳統PoW中耗能的隨機雜湊運算。
  • Gemma-4-31B-it 模型是 Google DeepMind 開發的密集型多模態模型,擁有約310億個參數和256K的上下文視窗,支援文字、圖像和影片輸入,並在AIME 2026、MMLU Pro等基準測試中表現出色,在Arena AI文字排行榜上名列第三。
  • 「有用工作證明」機制將AI工作負載(如模型訓練和推論)轉化為區塊鏈挖礦的「有用」計算,從而為礦工提供雙重收入來源:區塊獎勵和客戶支付的AI計算費用,有效解決了傳統PoW的能源浪費問題。
  • Together AI 的平台不僅提供伺服器less推論服務,還支援客製化模型的微調、GPU叢集管理以及生成式AI模型的部署,並提供批次推論50%折扣和重複查詢提示快取50%的優惠。
📊 競品分析▸ Show
功能/定價/基準Together AICoreWeaveRunPodSpheronHugging Face Inference Endpoints
主要服務開源模型推論、微調、GPU雲端GPU雲端基礎設施 (H100, A100)GPU實例、伺服器less端點裸機GPU容量開源模型推論端點
H100 GPU定價3.49美元/小時 (即時GPU叢集)2.23美元/小時 (截至2024年)2.69美元/小時2.01美元/小時 (PCIe)N/A (基於模型和使用量)
Llama 3 70B 推論定價0.88美元/百萬輸出tokensN/A (提供GPU租賃)N/A (提供GPU租賃)N/A (提供GPU租賃)N/A (基於模型和使用量)
計費模式按token計費 (伺服器less推論),按分鐘計費 (專用GPU)按使用量計費按秒計費 (計算)按分鐘計費按使用量計費 (模型/token)
優勢針對開源模型優化、快速推論、OpenAI相容API、批次推論折扣針對GPU工作負載優化、大規模GPU部署、Kubernetes原生編排具競爭力定價、簡潔開發者體驗、統一平台處理訓練與推論市場上最低價格之一、專用GPU實例、完全控制軟體堆疊龐大的模型目錄、專注於開源/開放權重模型
潛在缺點大規模時按token計費可能昂貴、專注於開源模型可能限制專有模型存取N/A (主要為基礎設施提供商)N/A (主要為基礎設施提供商)N/A (主要為基礎設施提供商)缺乏Together AI的客製化核心級優化、API非OpenAI相容

🛠️ 技術深入

  • Gemma-4-31B-it 模型架構: 這是一個由 Google DeepMind 開發的密集型轉換器模型,擁有約310億個總參數,分佈在60個層中,並搭配一個5.5億參數的視覺編碼器。
  • 上下文視窗與多模態能力: 模型支援256K的上下文視窗,能夠處理文字、圖像和影片輸入,並支援多達140多種語言。
  • 推論優化: 其混合注意力模式允許模型在處理長文件推論時,充分利用256K的上下文視窗而不會造成記憶體壓力。
  • 功能呼叫與輸出: Gemma-4-31B-it 內建原生功能呼叫、可配置的思維模式以及結構化的JSON輸出,使其特別適合代理工作流程和編碼任務。
  • 訓練數據: 模型的訓練數據涵蓋了截至2025年1月的網路文本、程式碼、數學和圖像。
  • 有用工作證明 (PoUW) 協議: Pearl Research Labs 的 PoUW 是一個L1區塊鏈協議,其挖礦過程是透過任意矩陣乘法(MatMul)的副產品來實現的。這是一種將GPU核心操作與區塊鏈共識機制結合的「二合一」方法。
  • 隱私考量: PoUW 協議的設計考慮到在有用計算中可能涉及敏感或專有數據,因此透過使用承諾機制來確保參與者不會向其他鏈參與者洩露此類資訊。
  • 去中心化AI計算: Pearl 網路旨在成為AI計算時代的「比特幣」,將商品硬體(GPU)上的通用計算轉化為貨幣,直接利用AI的增長來保護網路。

🔮 前景展望AI analysis grounded in cited sources

AI推論成本將大幅降低並民主化
透過將AI工作負載轉化為加密貨幣挖礦的「有用工作」,可以有效抵銷運算成本,使更多開發者和企業能夠負擔得起高性能AI模型的推論服務。
去中心化AI計算網路將加速發展
Pearl Research Labs 的 PoUW 協議為去中心化AI計算提供了一個新的經濟模型和技術基礎,鼓勵閒置GPU資源參與AI工作,從而擴大AI運算的可及性。
區塊鏈技術的應用將從純粹的加密貨幣挖礦轉向實際的AI價值創造
PoUW 將區塊鏈的共識機制與AI的實際計算需求結合,使得能源消耗不再是浪費,而是產生有價值的AI成果,這將推動區塊鏈在實用領域的創新。

時間線

2022-06
Together AI 成立,旨在解決AI運算集中化問題並提供去中心化雲端平台。
2023-05-16
Together AI 完成首輪種子輪融資,金額達2000萬美元,用於產品開發和基礎設施建設。
2023-11
Together AI 獲得1.025億美元的A輪融資,估值約5億美元。
2024-03
Together AI 在A輪擴展融資中再籌集1.06億美元,估值達到12.5億美元,進入獨角獸俱樂部。
2025-02-20
Together AI 完成3.05億美元的B輪融資,總融資額達5.34億美元,估值33億美元,用於擴展AI基礎設施。
2025-11-13
Pearl Research Labs 發布關於「透過任意矩陣乘法實現有用工作證明」的白皮書,詳細闡述其PoUW協議。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Together AI Blog