🤗較早收集於 15h

Safetensors 加入 PyTorch 基金會

Safetensors 加入 PyTorch 基金會
PostLinkedIn
🤗閱讀原文: Hugging Face Blog

💡Safetensors 納入 PyTorch 基金會:所有 ML 工作流程更安全的張量!

⚡ 30-Second TL;DR

有什麼變化

Safetensors 整合進 PyTorch 基金會

為什麼重要

強化開源 ML 基礎設施,確保 PyTorch 使用者的長期可靠性,並降低模型部署的安全風險。

下一步行動

立即在您的 PyTorch 管線中切換至 Safetensors 以安全載入模型。

誰應關注:Developers & AI Engineers

關鍵要點

  • Safetensors 整合進 PyTorch 基金會
  • 強化張量序列化的治理
  • 支持更安全的 ML 模型載入實務
  • 經 Hugging Face 部落格公告

🧠 深度解析

AI-generated analysis for this event.

🔑 增強重點摘要

  • Safetensors 的設計核心在於解決傳統 Pickle 格式在載入模型時可能執行的任意程式碼漏洞,透過零拷貝(Zero-copy)機制顯著提升了載入速度。
  • 此次轉移至 PyTorch 基金會旨在確保該格式作為機器學習生態系統中立標準的長期維護,減少對單一企業(Hugging Face)的依賴。
  • Safetensors 格式已成為 Hugging Face Hub 上模型儲存的預設標準,並獲得了包括 JAX、TensorFlow 和 Flax 在內的多框架廣泛支援。
📊 競品分析▸ Show
特性SafetensorsPickle (PyTorch 預設)ONNX
安全性高 (無程式碼執行)低 (易受惡意攻擊)中 (依賴實作)
載入速度極快 (零拷貝)慢 (需反序列化)中等
跨框架支援極佳極佳
定價開源免費開源免費開源免費

🛠️ 技術深入

  • 採用固定長度的標頭(Header)儲存張量元數據(形狀、資料類型、偏移量),確保解析過程不涉及動態程式碼執行。
  • 利用記憶體映射(Memory-mapping, mmap)技術,允許在不將整個檔案載入記憶體的情況下存取張量,大幅降低記憶體峰值使用量。
  • 支援多種資料類型(如 float16, bfloat16, float32, int8 等),並透過嚴格的對齊要求確保硬體存取效率。
  • 檔案結構由一個 JSON 標頭(描述張量資訊)和隨後的原始二進位張量資料組成,結構簡單且易於跨語言實作。

🔮 前景展望AI analysis grounded in cited sources

Pickle 格式將在主流模型發布中被徹底淘汰。
隨著 Safetensors 成為 PyTorch 基金會標準,安全性要求將迫使社群與企業全面棄用具備安全風險的 Pickle 格式。
跨框架模型互操作性將顯著提升。
由基金會治理的標準格式將降低不同深度學習框架間轉換模型時的相容性成本。

時間線

2022-02
Hugging Face 正式發布 Safetensors 函式庫,旨在解決模型載入的安全問題。
2023-01
Hugging Face Hub 開始大規模推動 Safetensors 格式,並將其設為模型儲存的推薦格式。
2026-04
Safetensors 正式加入 PyTorch 基金會,轉向社群治理模式。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Hugging Face Blog