一个让大模型在本地设备上运行的工具。
它像家里阳台上的一台小发电机:不用总连市电网,想用电自己就发,断了网也照样转。
常用来本地跑模型、开发测试,也适合隐私敏感场景。
Local-LLM它是本地大模型最常见的运行入口之一。
GGUF很多本地模型会用 GGUF 格式给它加载。
On-premise AI它常被拿来做私有部署的轻量起步方案。
LLM它把原本常在云端跑的大模型搬到个人设备上。