🤗較早收集於 21h

將 GitHub CI 工作流程遷移至 Hugging Face Jobs

將 GitHub CI 工作流程遷移至 Hugging Face Jobs
PostLinkedIn
🤗閱讀原文: Hugging Face Blog

💡將運算任務直接移至 Hugging Face 生態系統,簡化您的機器學習 CI/CD 流程。

⚡ 30-Second TL;DR

有什麼變化

Hugging Face 內部的 CI/CD 管線原生整合

為什麼重要

透過將 CI 任務遷移至 Hugging Face Jobs,團隊可以利用專用硬體,並與其模型與資料集儲存庫進行更緊密的整合。

下一步行動

檢視您目前的 GitHub Actions 工作流程,找出適合利用 Hugging Face 原生硬體加速的運算密集型任務。

誰應關注:Developers & AI Engineers

關鍵要點

  • Hugging Face 內部的 CI/CD 管線原生整合
  • 降低執行運算密集型 AI 任務的摩擦
  • 簡化機器學習專案的基礎設施管理

🧠 深度解析

Web-grounded analysis with 18 cited sources.

🔑 增強重點摘要

  • Hugging Face Jobs 採用按分鐘計費的模式,根據所選的 CPU、GPU 或 TPU 硬體選項收費,且在建置期間不產生費用。
  • 該平台支援任何基於 Docker 和命令的工作負載,允許用戶指定來自 Hugging Face Spaces 或 Docker Hub 的 Docker 映像。
  • Jobs 可以透過排程(使用 cron 語法)或 Webhooks 進行自動化,從而實現對 Hugging Face 儲存庫更新的自動觸發。
  • Hugging Face Jobs 專為 AI 和資料工作流程設計,特別適用於模型微調、使用 GPU 執行推論以及資料攝取和處理等任務。
  • Hugging Face 的 jobs-actions 調度器能夠將 GitHub Actions 工作流程橋接到短期的 Hugging Face Jobs 執行器,為 CI 提供可靠的 CPU 和更經濟實惠的 GPU 運算資源。
📊 競品分析▸ Show
Feature/AspectHugging Face JobsGitHub Actions (for ML CI)
核心用途專為 AI/ML 工作負載設計的運算基礎設施,用於模型訓練、微調、推論和資料處理。通用型 CI/CD 平台,用於軟體開發的自動化工作流程、程式碼測試和部署。
硬體支援提供多種 CPU、GPU (T4, A10G, A100) 和 TPU 選項。主要提供 CPU 執行器,GPU 支援通常需要自託管執行器,成本和管理複雜度較高。
計費模式按分鐘計費,根據所選硬體付費。通常按分鐘計費,但對於自託管執行器則無直接費用(需自行承擔基礎設施成本)。
MLOps 整合原生整合 Hugging Face 生態系統(模型、資料集、Spaces),簡化 ML 專案的基礎設施管理。需要額外配置和整合才能有效處理 ML 特定任務,例如模型版本控制、資料集管理和 GPU 運算。
Docker 支援支援基於 Docker 的任何工作負載,可指定來自 Hugging Face Spaces 或 Docker Hub 的 Docker 映像。支援 Docker 容器,但 ML 專用映像和環境的設定可能需要更多手動配置。
自動化觸發可透過排程 (cron) 或 Webhooks 自動觸發,例如模型或資料集更新時。支援多種觸發器,包括程式碼推送、Pull Request、排程和 Webhooks。

🛠️ 技術深入

  • Jobs 的定義包括要執行的命令、Docker 映像(可來自 Hugging Face Spaces 或 Docker Hub)以及硬體配置(CPU、GPU、TPU)。
  • 它支援使用類似 UV 或 Docker 的介面來執行 Python 工作負載。
  • 支援將任何 Hugging Face 儲存庫(模型、資料集、Space)或儲存桶掛載為 Jobs 的磁碟卷。
  • jobs-actions 調度器利用 GitHub Webhooks 來觸發短暫的 Hugging Face Jobs 執行器。

🔮 前景展望AI analysis grounded in cited sources

Hugging Face 將透過提供更全面的 MLOps 生態系統,進一步鞏固其作為「機器學習的 GitHub」的地位。
透過將 CI/CD 功能直接整合到其平台中,Hugging Face 減少了 ML 特定工作流程對外部工具的需求,使其成為對 ML 從業者更具吸引力的獨立平台。
專門用於 ML CI/CD 的解決方案(如 Hugging Face Jobs)的採用將會增加,因為通用型 CI/CD 平台在運算密集型 AI 任務方面存在局限性。
通用 CI/CD 平台通常難以應對 AI 應用程式的細微差別,特別是對於模型訓練和微調等任務所需的 GPU 存取和成本效益高的運算,而 Hugging Face Jobs 正好解決了這些問題。
此舉將透過在 Hugging Face 生態系統內實現模型開發、測試和部署的無縫整合,促進 ML 專案中更大的協作和可重現性。
在 Hugging Face 內部提供原生 CI/CD,並結合其現有的模型和資料集 Hub,鼓勵更統一的工作流程,使 ML 構件的共享、測試和部署變得更加容易。

時間線

2016
Hugging Face 成立,最初為聊天機器人公司,後轉型為機器學習平台。
2019
推出 Transformers 函式庫。
2020
推出 Hugging Face Hub,作為模型儲存庫。
2021
推出 Datasets 函式庫和 Hugging Face Spaces,用於部署互動式 AI 演示。
2022-11
推出 Inference Endpoints,提供按小時計費的推論服務,標誌著其託管運算服務的發展。
2023-12
推出入站 Webhooks,允許從 ML 平台觸發工作流程。
2024-06-10
Hugging Face 用戶現在可以自動觸發管線,以測試其模型或資料集的每次更新。
2026-05-29
Hugging Face Jobs 取代 GitHub CI 執行器,提供可靠的 CPU 和經濟實惠的 GPU。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Hugging Face Blog