llama-server 加入 Gemma-4 語音轉文字支援

💡llama-server 支援 Gemma-4 STT：立即運行離線音訊 LLM！

⚡ 30-Second TL;DR

有什麼變化

llama-server 使用 Gemma-4 E2A/E4A 模型實現 STT

為什麼重要

實現本地部署的離線多模態 AI 音訊功能，減少對雲端服務的依賴。

下一步行動

更新 llama.cpp 至最新 commit，並測試 Gemma-4 E2A 在音訊檔案上的 STT。

誰應關注：Developers & AI Engineers

AI-generated analysis for this event.

•Gemma-4 E2A 與 E4A 模型採用了原生多模態架構，允許 llama-server 在無需外部轉錄引擎（如 Whisper）的情況下直接處理音訊輸入。
•此整合利用了 llama.cpp 新增的音訊編碼器（Audio Encoder）接口，顯著降低了本地語音處理的延遲，並減少了對額外 Python 依賴項的需求。
•開發者 srigi 的實作展示了將 Gemma-4 的多模態能力映射至 llama-server API 的方法，使得現有的 OpenAI 相容客戶端能夠直接發送音訊檔案進行處理。

📊 競品分析▸ Show

特性	llama-server (Gemma-4)	Whisper.cpp	Faster-Whisper
模型架構	原生多模態 (E2A/E4A)	專用 ASR (Encoder-Decoder)	專用 ASR (Encoder-Decoder)
部署複雜度	低 (整合於 LLM 伺服器)	中 (需獨立執行)	中 (需 Python 環境)
基準測試	針對對話理解優化	針對轉錄準確度優化	針對轉錄速度優化

架構整合：llama-server 透過將 Gemma-4 的音訊特徵提取層（Audio Feature Extractor）直接掛載至 llama.cpp 的計算圖中，實現了端到端的音訊處理。
輸入處理：支援直接讀取 WAV/MP3 格式，並在內部將其轉換為模型所需的 Mel 頻譜圖（Mel-spectrogram）張量。
API 擴充：擴展了 /v1/audio/transcriptions 端點，使其能夠直接接收二進位音訊流，並透過 Gemma-4 的解碼器生成文字輸出。
記憶體管理：利用 llama.cpp 的 KV Cache 優化技術，在處理長音訊時能有效降低記憶體佔用。

本地 LLM 伺服器將逐漸淘汰專用的語音轉文字（ASR）中間件。

原生多模態模型的整合消除了對 Whisper 等外部轉錄引擎的依賴，簡化了本地 AI 應用程式的技術堆疊。

Gemma-4 系列將成為本地語音助理開發的首選基準模型。

其在 llama.cpp 生態中的高效能表現與多模態能力，為開發者提供了比傳統 ASR+LLM 鏈路更低延遲的解決方案。

2026-02

Google 發布 Gemma-4 多模態模型系列，包含 E2A 與 E4A 版本。

2026-03

llama.cpp 引入對多模態音訊編碼器的初步支援。

2026-04

srigi 在 r/LocalLLaMA 發布 llama-server 整合 Gemma-4 語音轉文字功能的預覽。

AI 週報

閱讀本週精選 AI 大事摘要 →

同主題

探索 #stt

同產品

更多關於 llama-server

同來源

最新來自 Reddit r/LocalLLaMA

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗