How to Fine-Tune Nemotron 3.5 ASR for Custom Domains

•Nemotron 3.5 ASR 是 NVIDIA NeMo 框架下「Nemotron Speech」系列的一部分，該系列還包括 Parakeet 和 Canary 等模型，這些模型在 Hugging Face Open ASR 排行榜上表現出色。
•Nemotron 3.5 ASR 採用 Cache-Aware FastConformer-RNNT 架構，這是一種 600M 參數模型，專為高效串流語音辨識設計，透過消除冗餘計算實現低延遲和高吞吐量。
•該模型支援多語言，其多語言版本已針對 Apple Silicon 上的裝置端串流 ASR 進行優化，並透過 CoreML 部署，提供針對單一語言詞彙修剪的模型和全詞彙多語言模型。
•NVIDIA 建議使用 NeMo 框架進行微調，並利用 AWS EC2 p4d.24xlarge 實例（配備 A100 GPU）和 DeepSpeed 等分散式訓練策略，以實現大規模領域適應。
•Nemotron 3.5 ASR 具有動態、運行時可配置的延遲模式（如 80ms、160ms、560ms、1.12s），無需重新訓練即可調整，這對於即時語音代理應用至關重要。

📊 競品分析▸ Show

特性/模型	Nemotron 3.5 ASR (NVIDIA NeMo/Riva)	OpenAI Whisper	Wav2Vec 2.0 (Meta AI)
架構	Cache-Aware FastConformer-RNNT (600M 參數)	編碼器-解碼器架構	編碼器專用架構 (自我監督學習)
主要用途	高效能串流 ASR，低延遲即時語音代理，多語言（36+）	多功能 ASR，支援多語言，適用於離線和批次處理	語音任務預訓練，在低資源語言上表現強勁
微調支援	透過 NVIDIA NeMo 框架，支援大規模領域適應	廣泛支援，透過 Hugging Face Transformers 等框架	廣泛支援，透過 Hugging Face Transformers 等框架
定價	開源模型（透過 NeMo/Hugging Face），商業部署透過 NVIDIA Riva/NIM 提供企業級服務	開源模型，OpenAI 提供託管 API 服務，按使用量計費	開源模型
基準測試	在 NVIDIA L4 GPU 上實現 258 倍即時吞吐量，WER 在不同配置下保持穩定	透過 SDPA 注意力機制可提升 1.8 倍吞吐量，但短音訊分塊可能導致 WER 下降	無直接可比的串流 ASR 基準測試數據，但在各種語音任務上表現良好
部署優化	GPU 優化，支援 Apple Silicon 上的 CoreML 部署	廣泛支援各種硬體和部署環境	廣泛支援各種硬體和部署環境

架構類型: Cache-Aware FastConformer-RNNT，包含 24 個編碼器層和一個 RNNT 解碼器。
參數數量: 600M 參數。
核心創新: 採用 8 倍下採樣（使用深度可分離卷積下採樣），顯著減少 VRAM 佔用並提高 GPU 吞吐量。
Cache-Aware 串流設計: 透過重用快取編碼器上下文，消除傳統「緩衝」串流中冗餘的重疊計算，從而提高計算效率並最小化端到端延遲。
訓練數據: 針對英文模型，主要在 ASRSet 上訓練，該數據集包含約 250,000 小時的美國英語語音。
微調推薦: 建議使用 NVIDIA NeMo 框架，並結合 DeepSpeed 進行記憶體高效的分散式訓練，以及 MLflow 和 TensorBoard 進行實驗追蹤。
部署優化: 支援動態、運行時可配置的延遲模式（如 80ms、160ms、560ms、1.12s），無需重新訓練即可調整。
多語言版本特性: 針對 Apple Silicon 上的裝置端串流 ASR 進行優化，並透過 CoreML 部署，提供針對單一語言詞彙修剪的模型和全詞彙多語言模型，可根據塊大小權衡延遲與吞吐量。

特定領域 ASR 將日益關鍵。

Nemotron 3.5 ASR 針對醫療保健、客戶服務和媒體製作等特定領域進行微調，直接滿足了專業應用對提高準確性的需求。

裝置端和邊緣 AI 在 ASR 領域將顯著增長。

Nemotron 3.5 ASR 針對 Apple Silicon 透過 CoreML 進行優化，以及其 Cache-Aware 串流架構，預示著將高效能 ASR 直接部署到邊緣設備以實現低延遲應用的趨勢。

NVIDIA 的 NeMo 框架將繼續主導 ASR 模型開發和部署平台。

NeMo 提供的全面工具包、與 GPU 加速硬體的整合，以及持續發布 Nemotron 和 Canary 等領先模型，鞏固了其作為語音 AI 關鍵生態系統的地位。

2024-09

NVIDIA NeMo ASR 模型透過優化實現高達 10 倍的速度提升。

2025-06

NVIDIA 強調 Parakeet TDT 0.6B v2 和 NeMo Canary 模型在 Hugging Face ASR 排行榜上名列前茅，均為 NVIDIA Riva 的一部分。

2025-09

Granary 數據集被強調為推進 ASR/AST 研究和微調 NeMo Canary 模型的重要資源。

2026-01

Nemotron Speech ASR（基於 FastConformer RNNT）推出，採用 Cache-Aware 技術實現即時語音代理。

2026-03

Nemotron 3 ASR (Nemotron-ASR-Streaming) 發布更新檢查點，並在更大語料庫上進行訓練。

2026-05

Hugging Face 上的 NVIDIA-Nemotron-3.5-ASR-Streaming-Multilingual-0.6b 檢查點更新。

2026-06

NVIDIA Nemotron 3.5 ASR 在 Foundry 託管計算平台上可用。

如何針對特定領域微調 Nemotron 3.5 ASR