來源Hugging Face Blog•較早收集於 15h
Baseten 加入 Hugging Face Inference Providers
#model-inference#developer-platformbasetenbasetenhugging faceinference providers
了解 Baseten 如何在 Hugging Face 生態系中擴展推理服務選項。
30 秒速覽
有什麼變化
Baseten 現已透過 Hugging Face Inference Providers 提供服務。
為什麼重要
對已使用 Hugging Face 的團隊而言，這項整合可能簡化服務供應商選擇與模型部署流程。同時也能提升 Baseten 在尋找託管式推理基礎設施的開發者中的能見度。
下一步行動
開啟 Hugging Face Inference Providers，確認 Baseten 是否支援你下一個推理工作負載所需的模型與部署區域。
誰應關注：Developers & AI Engineers
關鍵要點
- •Baseten 現已透過 Hugging Face Inference Providers 提供服務。
- •開發者可將 Hugging Face 作為存取 Baseten 推理服務的入口。
- •這項更新將 Baseten 的推理基礎設施與 Hugging Face 模型生態系連結起來。
深度解析
本篇為 AI 生成分析，非原文內容。
增強重點摘要
- •Baseten 的推理基礎設施特別針對高效能與低延遲需求進行了優化，支援包括 Llama 3、Mistral 等主流開源模型的快速部署。
- •透過 Hugging Face Inference Providers 整合，開發者無需離開 Hugging Face 介面即可直接呼叫 Baseten 的 API 端點，簡化了從模型選擇到生產環境部署的工作流。
- •此整合利用了 Baseten 的 Truss 開源框架，該框架旨在標準化模型服務的封裝，確保模型在不同環境下的可移植性與一致性。
- •Baseten 提供的基礎設施支援自動擴展（Auto-scaling）功能，能根據推理請求的負載動態調整運算資源，協助開發者優化成本。
- •此合作案是 Hugging Face 推動『推理供應商生態系』策略的一部分，旨在透過與專業雲端基礎設施供應商結盟，解決大型模型部署的運算瓶頸。
競品分析
核心定位
- Baseten
- 專注於開源模型部署與 Truss 框架
- AWS SageMaker
- 全方位企業級雲端機器學習平台
- Together AI
- 高效能推理 API 與開源模型託管
定價模式
- Baseten
- 按使用量與實例類型計費
- AWS SageMaker
- 按實例時數與儲存空間計費
- Together AI
- 按 Token 使用量計費
部署靈活性
- Baseten
- 高 (支援自訂容器與 Truss)
- AWS SageMaker
- 極高 (複雜配置)
- Together AI
- 中 (專注於 API 存取)
| 特色 | Baseten | AWS SageMaker | Together AI |
|---|---|---|---|
| 核心定位 | 專注於開源模型部署與 Truss 框架 | 全方位企業級雲端機器學習平台 | 高效能推理 API 與開源模型託管 |
| 定價模式 | 按使用量與實例類型計費 | 按實例時數與儲存空間計費 | 按 Token 使用量計費 |
| 部署靈活性 | 高 (支援自訂容器與 Truss) | 極高 (複雜配置) | 中 (專注於 API 存取) |
技術深入
- 支援 Truss 框架：開發者可定義模型環境、依賴套件與推理邏輯，並將其封裝為標準化容器。
- 基礎設施抽象化：Baseten 在後端管理 GPU 叢集（如 NVIDIA A100/H100），並透過 API 提供統一的推理介面。
- 支援動態批次處理（Dynamic Batching）：優化模型在處理多個並發請求時的吞吐量。
- 整合 Hugging Face Hub：可直接從 Hub 拉取模型權重，並透過 Baseten 的基礎設施進行即時推理。
前景展望基於引用來源的 AI 分析
Hugging Face 將進一步鞏固其作為 AI 模型部署中樞的市場地位。
透過整合多家推理供應商，Hugging Face 成功將模型開發者與底層運算資源供應商緊密綁定，提升了生態系的黏著度。
開源模型部署的技術門檻將持續降低。
標準化部署框架（如 Truss）與推理供應商的整合，使得企業部署複雜模型時的工程負擔大幅減輕。
時間線
2021-09
Baseten 正式成立，旨在簡化機器學習模型的生產部署流程。
2022-06
Baseten 開源 Truss 框架，提供模型服務的標準化封裝解決方案。
2023-11
Baseten 宣布支援主流開源大語言模型（LLM）的託管服務。
2024-05
Hugging Face 推出 Inference Providers 計畫，開始與第三方基礎設施供應商整合。
2025-02
Baseten 擴大其 GPU 基礎設施支援，納入更多高效能運算實例以應對生成式 AI 需求。
- 2021-09Baseten 正式成立，旨在簡化機器學習模型的生產部署流程。
- 2022-06Baseten 開源 Truss 框架，提供模型服務的標準化封裝解決方案。
- 2023-11Baseten 宣布支援主流開源大語言模型（LLM）的託管服務。
- 2024-05Hugging Face 推出 Inference Providers 計畫，開始與第三方基礎設施供應商整合。
- 2025-02Baseten 擴大其 GPU 基礎設施支援，納入更多高效能運算實例以應對生成式 AI 需求。
AI 週報
閱讀本週精選 AI 大事摘要 →
相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Hugging Face Blog ↗
每週電子報
每週一封，可隨時退訂。