AI Rookies

NVIDIA PAIR — NVIDIA 个人 AI 路由器

事实

把局域网设备组成个人 AI 推理集群的开源路由软件。

人话

PAIR像宿舍楼下的快递柜管理员:哪格能接这单、哪格空着,就把请求塞进去。

家里或办公室多台电脑跑本地模型时,它会把请求分给合适设备。

相关概念

Inference engine
PAIR 把请求转给局域网中可用的推理引擎。

Ollama
Ollama 可作为 PAIR 接入的本地推理引擎。

Local-LLM
PAIR 让多台运行本地模型的设备分担不同请求。

Routing
PAIR 按设备负载、在线状态和模型情况分流请求。