在 Amazon EC2 微調 NVIDIA Nemotron 語音辨識

🔑 增強重點摘要

• •Parakeet-TDT-0.6B-V2 採用 Token-and-Duration Transducer (TDT) 架構，具備 6 億參數，在 Hugging Face Open ASR Leaderboard 上平均 WER 僅 6.05%，排名第一。[1][3]
• •模型在噪音環境下表現優異，SNR 5 時 WER 為 8.39%，並支援自動標點、字級時間戳及長音頻處理（每塊最多 24 分鐘）。[1][4]
• •推理速度極快，RTF 達 3380-3386（批次大小 128 時，每秒處理約 56 分鐘音頻），採用 CC-BY-4.0 授權，可免費商業使用。[1][3]

🛠️ 技術深入

• •模型名稱解釋：'Parakeet' 為 NVIDIA ASR 模型家族，'TDT' 指 Token-and-Duration Transducer 架構，0.6B 表示 6 億參數，V2 為改進版。[1]
• •輸入格式：16kHz 單聲道音頻，支援多語言基準如 Fleurs (平均 WER 11.97%)、MLS (7.83%)、CoVoST (11.98%)，英文表現最佳 (LibriSpeech clean 6.05%)。[2]
• •關鍵功能：精準字級時間戳、自動標點與大小寫、對數字與歌詞轉錄魯棒，支援 CUDA 加速與 FP16/FP8 量化。[4]
• •NeMo 微調參數示例：指定 pretrained_model='parakeet-tdt-0.6b-v2'、manifest_filepath、channel_selector=mono、max_steps 控制訓練步數。[5]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線