開源 Gemma 語音聊天可在 Jetson 上運行

有什麼變化

Gemma4 12B 運行於 RTX PRO 4500 Blackwell，Gemma4 E2B 則運行於 Jetson Orin NX 16GB。

為什麼重要

這顯示具備表情與互動能力的本地語音 AI，既能運行於桌面 GPU，也能運行於嵌入式 Jetson 硬體。開發者可在不依賴雲端推理的情況下，打造重視隱私的語音代理。

下一步行動

複製 Cortexist Little Gemma 儲存庫，並在 Jetson Orin 上將 Gemma4 E2B 與目前的 llama.cpp 語音管線進行效能基準測試。