🤗Hugging Face Blog•最新收集於 15h
Baseten 加入 Hugging Face Inference Providers
💡了解 Baseten 如何在 Hugging Face 生態系中擴展推理服務選項。
⚡ 30-Second TL;DR
有什麼變化
Baseten 現已透過 Hugging Face Inference Providers 提供服務。
為什麼重要
對已使用 Hugging Face 的團隊而言，這項整合可能簡化服務供應商選擇與模型部署流程。同時也能提升 Baseten 在尋找託管式推理基礎設施的開發者中的能見度。
下一步行動
開啟 Hugging Face Inference Providers，確認 Baseten 是否支援你下一個推理工作負載所需的模型與部署區域。
誰應關注：Developers & AI Engineers
關鍵要點
- •Baseten 現已透過 Hugging Face Inference Providers 提供服務。
- •開發者可將 Hugging Face 作為存取 Baseten 推理服務的入口。
- •這項更新將 Baseten 的推理基礎設施與 Hugging Face 模型生態系連結起來。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Baseten 的推理基礎設施特別針對高效能與低延遲需求進行了優化，支援包括 Llama 3、Mistral 等主流開源模型的快速部署。
- •透過 Hugging Face Inference Providers 整合，開發者無需離開 Hugging Face 介面即可直接呼叫 Baseten 的 API 端點，簡化了從模型選擇到生產環境部署的工作流。
- •此整合利用了 Baseten 的 Truss 開源框架，該框架旨在標準化模型服務的封裝，確保模型在不同環境下的可移植性與一致性。
- •Baseten 提供的基礎設施支援自動擴展（Auto-scaling）功能，能根據推理請求的負載動態調整運算資源，協助開發者優化成本。
- •此合作案是 Hugging Face 推動『推理供應商生態系』策略的一部分，旨在透過與專業雲端基礎設施供應商結盟，解決大型模型部署的運算瓶頸。
📊 競品分析▸ Show
| 特色 | Baseten | AWS SageMaker | Together AI |
|---|---|---|---|
| 核心定位 | 專注於開源模型部署與 Truss 框架 | 全方位企業級雲端機器學習平台 | 高效能推理 API 與開源模型託管 |
| 定價模式 | 按使用量與實例類型計費 | 按實例時數與儲存空間計費 | 按 Token 使用量計費 |
| 部署靈活性 | 高 (支援自訂容器與 Truss) | 極高 (複雜配置) | 中 (專注於 API 存取) |
🛠️ 技術深入
- 支援 Truss 框架：開發者可定義模型環境、依賴套件與推理邏輯，並將其封裝為標準化容器。
- 基礎設施抽象化：Baseten 在後端管理 GPU 叢集（如 NVIDIA A100/H100），並透過 API 提供統一的推理介面。
- 支援動態批次處理（Dynamic Batching）：優化模型在處理多個並發請求時的吞吐量。
- 整合 Hugging Face Hub：可直接從 Hub 拉取模型權重，並透過 Baseten 的基礎設施進行即時推理。
🔮 前景展望AI analysis grounded in cited sources
Hugging Face 將進一步鞏固其作為 AI 模型部署中樞的市場地位。
透過整合多家推理供應商，Hugging Face 成功將模型開發者與底層運算資源供應商緊密綁定，提升了生態系的黏著度。
開源模型部署的技術門檻將持續降低。
標準化部署框架（如 Truss）與推理供應商的整合，使得企業部署複雜模型時的工程負擔大幅減輕。
⏳ 時間線
2021-09
Baseten 正式成立，旨在簡化機器學習模型的生產部署流程。
2022-06
Baseten 開源 Truss 框架，提供模型服務的標準化封裝解決方案。
2023-11
Baseten 宣布支援主流開源大語言模型（LLM）的託管服務。
2024-05
Hugging Face 推出 Inference Providers 計畫，開始與第三方基礎設施供應商整合。
2025-02
Baseten 擴大其 GPU 基礎設施支援，納入更多高效能運算實例以應對生成式 AI 需求。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Hugging Face Blog ↗