NVIDIA 正式推出 Personal AI Router(PAIR)Beta,可以把家中同一區域網路內的多台電腦串起來,將不同的本機 AI 推論工作自動分配到目前有空閒運算能力的設備。支援 Windows、macOS 與 Linux,而且可以直接搭配 Ollama、LM Studio,原本的 AI Agent 不需要另外改寫成特殊叢集架構。
硬體支援範圍也很廣,包括 GeForce RTX 20 系列以上、RTX PRO 工作站、DGX Spark,以及 Apple M4 以上的 Mac。換句話說,家裡如果有一台 RTX 遊戲機、一台 RTX 筆電,再加一台 Mac,都可以加入同一個 PAIR 本機 AI 叢集。
PAIR 最適合的是 Multi-Agent 多代理工作負載。例如主 Agent 一次叫出 5 個子 Agent 分別搜尋、寫程式、分析與驗證,PAIR 可以把這些獨立推論工作分配到不同電腦,不需要全部排隊等同一張 GPU。
NVIDIA 官方展示中,使用 Hermes Desktop+Ollama 執行五個子 Agent 工作,在三台設備組成的 PAIR 環境下完成時間為 8 分 48 秒,而只使用單台 RTX Spark 筆電則需要 18 分鐘,整體完成時間縮短超過一半。
不過它有一個很重要的限制:**PAIR 不會把多張 GPU 的 VRAM 合併。**例如 16GB+12GB 顯卡不會變成一張 28GB GPU,也不會把同一次模型推論拆到多台機器執行;它做的是把「不同的推論請求」分派給不同節點。
另外,NVIDIA 表示 PAIR 主要在使用者自己的區域網路內運作,Prompt、檔案與 Agent Context 可以維持本機處理;節點之間則透過 mDNS 發現設備、mTLS 加密配對,排程時會考慮模型是否存在、GPU 使用率以及節點目前是否忙碌。
資料來源:https://developer.nvidia.com/blo ... your-local-network/ |