在本地边缘设备上运行 AI 推理的部署方式。
边缘 AI 像小区门口的社区门诊:头疼脑热当场看,别动不动挤三甲。
常用于手机、摄像头、车机,响应快,也少上传隐私。
AI DeviceAI 设备常是边缘 AI 落地的硬件载体。
Quantization量化把模型变小,方便在边缘端运行。
Model Compression模型压缩减少算力和内存压力。
Local-LLM本地大模型是边缘 AI 在语言场景的分支。