NVIDIA PAIR 解鎖本地運算資源

有什麼變化

可在連接至區域網路的運算裝置之間路由推論工作。

為什麼重要

開發者有機會在不完全依賴單一本地機器或集中式雲端端點的情況下，提升推論容量。這對會產生大量並行推論請求的代理程式應用尤其重要。

下一步行動

使用 NVIDIA PAIR Virtual Inference Router 建立多代理程式工作負載原型，並測量透過區域網路路由推論時的吞吐量。