New C++ Implementation of distilHuBERT Released

•distilHuBERT 模型於 2021 年 10 月首次發表，旨在透過層級蒸餾（layer-wise distillation）技術，將原始 HuBERT 模型的大小縮減 75%，並提升 73% 的推論速度，同時在十項不同的語音處理任務中保持大部分效能。
•此 C++ 實作的無依賴項特性，使其特別適合資源受限的邊緣設備和行動應用程式部署，因為它無需額外的執行時期環境或大型函式庫。
•distilHuBERT 的蒸餾過程採用多任務學習框架，學生模型（DistilHuBERT）透過三個預測頭學習 HuBERT 教師模型第 4、8 和 12 層的隱藏表示，這些預測頭在訓練完成後會被移除。
•作為基礎的 HuBERT 模型是一種自監督語音表示學習模型，其架構包含一個 7 層的一維卷積前端和一個深度 Transformer 編碼器，透過對聚類聲學單元進行遮罩預測來學習上下文相關的語音表示。

📊 競品分析▸ Show

特性/產品	全新 distilHuBERT C++ 實作	ONNX Runtime (C++ API)	NVIDIA TensorRT (C++ API)
模型特異性	專為 distilHuBERT 模型高度優化	通用 ONNX 模型推論引擎	專為 NVIDIA GPU 上的深度學習模型優化
執行時期依賴項	無執行時期依賴項，權重直接編譯	需要 ONNX Runtime 函式庫	需要 TensorRT 函式庫及 NVIDIA GPU 驅動程式
部署複雜性	極低，單一可執行檔/函式庫	中等，需部署模型檔案與執行時期函式庫	中等，需部署模型檔案、執行時期函式庫及特定硬體
硬體支援	主要為 CPU，潛在可針對特定硬體編譯	廣泛 (CPU, GPU, NPU 等透過 Execution Providers)	僅限 NVIDIA GPU
效能	內部測試顯示與 ONNX Runtime 相當	良好，可利用硬體加速器	在 NVIDIA GPU 上通常提供最低延遲和最高吞吐量
動態輸入大小	支援動態輸入大小	支援動態輸入大小	支援動態輸入大小
開發者	pfeatherstone (GitHub)	Microsoft	NVIDIA

HuBERT 基礎架構: HuBERT 模型包含一個 7 層的一維卷積特徵編碼器，將原始音訊波形（通常為 16 kHz）下採樣為潛在向量序列，通常解析度為 20 毫秒。隨後是一個深度 Transformer 編碼器，用於對隨機遮罩的音訊幀進行分類，以預測透過迭代 K-means 聚類生成的偽標籤。
DistilHuBERT 蒸餾過程: DistilHuBERT 採用多任務學習框架進行知識蒸餾。學生模型在訓練前以教師模型（HuBERT）的參數初始化。它使用三個預測頭來分別預測 HuBERT 教師模型第 4、8 和 12 層的隱藏表示輸出。這些預測頭在訓練完成後會被移除，因為多任務學習範式促使 DistilHuBERT 模型學習包含豐富資訊的表示。
DistilHuBERT 模型大小: 蒸餾後的 DistilHuBERT 模型，其 Transformer 編碼器層數顯著減少，例如，基礎版 DistilHuBERT 的 Transformer 編碼器僅有兩層，而基礎版 HuBERT 通常有十二層。這使得模型大小比原始 HuBERT 縮小了 75%。
C++ 實作細節: 新的 C++ 實作將模型權重直接編譯到函式庫中，消除了執行時期依賴項，並支援動態輸入大小。這通常意味著採用靜態連結和潛在的編譯時優化或量化技術，以實現高效能和簡化部署。

邊緣設備上的語音 AI 應用將大幅增加。

無依賴項、編譯內建權重和 C++ 的特性，使得 distilHuBERT 在資源受限的嵌入式系統和行動裝置上部署變得極為簡便和高效，從而推動更多即時語音應用的發展。

專用、輕量級 AI 模型 C++ 實作將成為趨勢。

此 distilHuBERT C++ 實作的成功，證明了針對特定模型進行高度優化、無通用執行時期依賴的 C++ 實作，在效能和部署簡潔性方面具有顯著優勢，可能促使其他輕量級 AI 模型也採用類似的開發模式。

開發者將能更靈活地將語音處理功能整合到現有 C++ 專案中。

由於該函式庫無執行時期依賴且支援動態輸入大小，C++ 開發者可以更直接、更無縫地將 distilHuBERT 的語音表示學習能力整合到其應用程式中，而無需處理複雜的環境配置或模型轉換流程。

2019

Facebook AI 發布 wav2vec 模型，加速語音自監督學習研究。

2021-10

HuBERT 模型架構及訓練過程被詳細闡述，並發表 DistilHuBERT 論文。

2021-10

DistilHuBERT 模型論文發表，提出透過蒸餾技術將 HuBERT 模型大小縮減 75%，並提升 73% 推論速度。

2026-06

全新的 distilHuBERT C++ 無依賴項實作發布。

全新的 distilHuBERT C++ 實作發布