Hugging Face Hub 推出儲存桶

🔑 增強重點摘要

• •Hugging Face 儲存桶由 Xet 儲存後端驅動，提供內容可定址去重複功能，適合儲存訓練檢查點、記錄和中間產物等大型檔案。
• •儲存桶支援完整的 CLI 和 Python API，包括建立、重命名、同步、上傳、下載和刪除檔案等操作。
• •HfFileSystem 已更新支援儲存桶，可透過 list、glob、download、stream 和 upload 等方法操作。
• •儲存桶與 git 基礎的儲存庫不同，不追蹤檔案歷史，專為無需版本控制的大型檔案集合設計。

🛠️ 技術深入

• •儲存桶提供 S3-like 物件儲存，使用 Xet 後端實現內容定址去重複。
• •CLI 指令範例：hf buckets create my-bucket --private 建立私有儲存桶；hf buckets sync ./data hf://buckets/username/my-bucket 同步目錄。
• •支援 HfApi 中的 sync_bucket 方法，以及檔案刪除、重命名和 include/exclude 模式管理。
• •HfFileSystem 整合儲存桶，允許 list、glob、download、stream 和 upload 操作。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線