CPU inference — CPU 推理（中央处理器推理）

事实

用 CPU 而非 GPU 执行模型推理。

人话

CPU 推理像用电磁炉炒菜：不装专业猛火灶，火慢一点，但插电就能开炒。

适合本地小模型、低并发，省钱但别求快。

相关概念

• 推理（运行）
• GPU 算力
• 量化
• 本地大语言模型推理框架

Inference
CPU 推理属于推理阶段，只是换 CPU 来算。

GPU
它常用来省显卡，但速度通常不如 GPU。

Quantization
量化能减小模型，让 CPU 更跑得动。

Llama.cpp
Llama.cpp 常用于本地 CPU 跑大模型。