GGUF — GPT-Generated Unified Format（模型统一文件格式）

事实

一种便于本地加载和运行大模型的文件格式。

人话

它像把大模型塞进搬家真空袋，本来占一间屋，家用电脑也能扛上楼。

它常配合量化和本地推理使用，方便下载、加载，也方便离线跑模型。

相关概念

• 本地大模型
• 量化
• 开放权重
• 显存

Local-LLM
GGUF 是本地部署大模型时最常见的文件格式之一。

Quantization
GGUF 常用来存放量化后的模型，方便轻量运行。

Open-weights
开放权重模型常被转换成 GGUF 后再分发下载。

VRAM
GGUF 常配合量化，帮助模型在更小显存上运行。