🇨🇳cnBeta (Full RSS)•最新收集於 2m
NVIDIA 推出開源 Personal AI Router
![NVIDIA 推出開源 Personal AI Router](https://redirect.viglink.com/?format=go&jsonp=vglnk_178849547248010&key=62dc9475db2e811f00ac38bafaa57c07&libId=mtmg05uh0103xta3000UL1oujmssdr8q3o&loc=https%3A%2F%2Fwww.neowin.net%2Fnews%2Fnvidia-launches-open-source-personal-ai-router-beta-pair%2F&v=1&out=https%3A%2F%2Fcdn.neowin.com%2Fnews%2Fimages%2Fuploaded%2F2026%2F09%2F1788494171_nvidia-pair-virtual-inference-router-1536x864.webp&title=Nvidia%20launches%20open-source%20Personal%20AI%20Router%20beta%20%22PAIR%22%20-%20Neowin&txt="/></p><p>随着AI代理开始同时执行越来越多的子任务，单台电脑上的GPU很容易成为性能瓶颈。一个复杂任务往往会被AI代理拆分成多个可以并行处理的工作，但如果所有请求都集中到同一块GPU上，任务就不得不排队等待。PAIR的核心作用，就是把这些彼此独立的推理请求分配给局域网中当前有可用计算能力的设备，从而缓解多代理和多子任务同时运行时的资源拥堵。</p><p>PAIR可以与用户已经熟悉的本地AI推理后端配合使用，目前支持Ollama和LM Studio。它本身并不会把多台电脑合并成一块虚拟GPU，也不会把不同设备上的显存简单“拼接”起来运行一个更大的模型，而是让各个设备分别承担独立的推理请求，再将结果返回给最初发起任务的应用。因此，用户无需修改现有AI代理的工作方式，也不需要重新设计代理框架，就可以利用网络中其他机器的闲置算力。</p><p>英伟达表示，PAIR能够动态适应设备状态。当新的电脑加入网络或者已有设备离开时，系统可以自动调整；路由过程会综合考虑节点是否准备就绪、推理引擎状态、模型是否已经存在以及GPU利用率等因素，然后选择合适的机器处理请求。整个过程并不要求搭建传统意义上的服务器集群，也不需要专用线缆、机架或复杂的集群配置。</p><p>在安全方面，加入PAIR集群的设备首先需要通过六位数字配对码完成配对，之后设备之间通过双向TLS（mTLS）建立加密通信通道，以确保参与设备之间的连接受到保护。英伟达强调，PAIR的设计目标之一就是让本地AI工作流保持在用户自己的网络中，提示词、文件以及AI代理上下文无需发送至云端推理服务。</p><p>目前PAIR测试版支持Windows、macOS和Linux。硬件方面，兼容范围包括NVIDIA GeForce RTX 20系列及更新型号、基于Turing架构及更新架构的NVIDIA RTX PRO工作站GPU、NVIDIA DGX Spark，以及搭载Apple M4或更新芯片的Mac设备。英伟达给出的系统要求还包括至少8GB内存，并建议准备20GB或以上磁盘空间；软件运行本身不要求互联网连接，但下载模型时仍然需要联网。</p><p>英伟达给出的演示显示，PAIR尤其适合多代理工作流。例如，用户可以要求Hermes Agent制定一个“周日重置”计划，对杂乱的邮箱进行整理，判断哪些邮件需要立即处理、哪些可以稍后处理以及哪些可以直接跳过。代理可以将任务拆分给多个子代理，而PAIR则把这些子代理产生的独立推理请求分散到家中不同电脑上，而不是让所有任务争抢同一块GPU。这样一来，多项任务可以并行进行，主电脑也可以在游戏、创作或者其他工作期间，将部分AI计算转移到其他设备。</p><p style="text-align: center;"><iframe width="864" height="486" src="//www.youtube.com/embed/GjGM-ZKQMa0" title="" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin)
💡用 NVIDIA 開源 PAIR，將家中閒置電腦組成共享本地 AI 推理叢集。
⚡ 30-Second TL;DR
有什麼變化
PAIR 是軟體，而非傳統網路硬體路由器。
為什麼重要
PAIR 有望透過將家中現有電腦組成共享推理池，降低本地 AI 實驗成本。其實際價值將取決於硬體相容性、網路效能、工作負載排程與隱私控制能力。
下一步行動
在兩台以上相容的區域網路電腦上安裝 PAIR 測試版，並將分散式本地模型推理與單機配置進行效能比較。
誰應關注：Developers & AI Engineers
關鍵要點
- •PAIR 是軟體，而非傳統網路硬體路由器。
- •它會自動發現連接至同一區域網路的相容電腦。
- •系統可整合多台裝置的閒置運算能力，用於本地 AI 推理與代理工作負載。
- •測試版免費且開源。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： cnBeta (Full RSS) ↗
每週 AI 簡報
每週一封，可隨時退訂。