把局域网设备组成个人 AI 推理集群的开源路由软件。
PAIR像宿舍楼下的快递柜管理员:哪格能接这单、哪格空着,就把请求塞进去。
家里或办公室多台电脑跑本地模型时,它会把请求分给合适设备。
Inference enginePAIR 把请求转给局域网中可用的推理引擎。
OllamaOllama 可作为 PAIR 接入的本地推理引擎。
Local-LLMPAIR 让多台运行本地模型的设备分担不同请求。
RoutingPAIR 按设备负载、在线状态和模型情况分流请求。