前沿推理能力進軍邊緣端

有什麼變化

具備推理能力與代理功能的 AI 模型逐漸能在邊緣硬體上運行。

為什麼重要

這降低了打造自主且重視隱私、同時必須在有限連線環境中運作之應用的門檻。開發者可考慮使用 Jetson 建置過去需要雲端推論的邊緣代理與機器人工作負載。

下一步行動

在 NVIDIA Jetson 上原型化一個本地代理工作負載，並將延遲、記憶體使用量與準確度與目前的雲端推論方案比較。