AI Rookies

Fallback model — 备用模型

事实

主模型不可用时接管请求的备用模型。

人话

备用模型就是地铁备用线:主线一堵,先把人绕出去,别让服务趴站台。

用于高峰、故障、限额时,兜住请求不中断。

相关概念

Model-routing
路由决定请求何时从主模型切到备用模型。

LLMOps
备用模型是线上 AI 服务的可靠性兜底。

API
API 常把主备模型切换封装在统一接口后。

Cost-aware AI
备用模型也可在高峰时用来控制成本。