Simplified FHE-based ML inference with concrete-ml

•Concrete ML 是由 Zama 開發的開源函式庫，專為機器學習應用設計，並基於環面上的全同態加密 (TFHE) 方案，使資料科學家無需深厚的密碼學知識即可使用 FHE。
•Concrete ML 不僅支援加密資料上的推論，還能直接在加密資料上訓練線性模型或微調大型語言模型 (LLM)，從而實現資料生命週期全程的隱私保護。
•為符合 FHE 的要求，Concrete ML 會將輸入、權重和所有中間值量化為 16 位元整數，並提供工具來模擬 FHE 執行以評估和緩解潛在的準確性損失。
•Concrete ML 提供部署 API，支援在客戶端加密資料、伺服器端執行 FHE 運算，然後客戶端解密結果的端到端隱私保護推論流程，並支援混合模型部署，允許部分模型在客戶端執行，部分在伺服器端以 FHE 方式安全處理。
•Concrete ML 在效能方面取得了顯著進展，自 2021 年以來，神經網路的執行時間加快了 14 到 21 倍，這得益於軟體工程、密碼學改進（例如 roundPBS 運算子）和優化的量化技術。

Concrete ML 建立在 Zama 的 Concrete 框架和 TFHE-rs（一個基於 Rust 的 TFHE 函式庫）之上，採用環面上的全同態加密 (TFHE) 方案進行加密運算。
為了與 FHE 相容，機器學習模型中的所有輸入、常數和中間值都必須量化為最大 16 位元整數。
該函式庫包含一個「編譯」步驟，將量化後的模型轉換為 FHE 電路，以便在加密資料上執行推論。
可程式引導 (Programmable Bootstrapping, PBS) 是 TFHE 中的關鍵密碼學操作，用於管理密文中的雜訊，並實現任何函數的同態評估，確保加密計算的正確性。
Concrete ML 已從基於 ONNX 的編譯器方法轉向基於 MLIR 的編譯器框架，這有助於支援多種前端（如 Python、ML）和後端（如不同的硬體加速器）。
預設情況下，Concrete ML 確保加密計算的正確性，其參數選擇旨在使加密資料上的結果與明文模擬結果一致，儘管使用者可以選擇犧牲部分正確性以換取更低的延遲。
支援混合模型部署，允許將神經網路模型（包括多層感知器 MLP、卷積神經網路 CNN 和大型語言模型 LLM）的部分在客戶端執行，而其他部分則在伺服器端透過 FHE 安全處理。

基於 FHE 的機器學習將成為隱私保護雲端 AI 的標準。

像 Concrete ML 這樣的工具抽象了密碼學的複雜性，使 FHE 對資料科學家更易於使用，並能在 AWS SageMaker 等雲端環境中對敏感資料進行安全計算。

FHE 在機器學習中的效能將持續顯著提升。

Concrete ML 最近的進展顯示，透過軟體工程、密碼學優化和硬體加速，神經網路的執行速度自 2021 年以來已加快 14-21 倍，預示著實用即時 FHE 的強勁趨勢。

混合 FHE 模型將在複雜機器學習任務中普及。

Concrete ML 支援混合部署的能力，即在伺服器端使用 FHE 執行敏感部分，在客戶端執行非敏感部分，解決了 FHE 對於大型模型的計算開銷問題，使其更廣泛地被採用成為可能。

2015

Microsoft SEAL，一個基礎的 FHE 函式庫，首次發布。

2016

TFHE（環面上的快速全同態加密函式庫）發布，這是 Concrete ML 的核心方案。

2020

Zama 成立，該公司是 Concrete ML 的開發者。

2022-11

Concrete-ML 被描述為基於 Zama 的 Concrete 框架的開源工具，旨在簡化資料科學家使用 FHE 的過程。

2024-07

Zama 宣布 Concrete ML 在 FHE 機器學習方面實現了顯著的效能提升，神經網路的執行速度比 2021 年的基準快了 14-21 倍。

使用 concrete-ml 簡化基於 FHE 的機器學習推論