主模型不可用时接管请求的备用模型。
备用模型就是地铁备用线:主线一堵,先把人绕出去,别让服务趴站台。
用于高峰、故障、限额时,兜住请求不中断。
Model-routing路由决定请求何时从主模型切到备用模型。
LLMOps备用模型是线上 AI 服务的可靠性兜底。
APIAPI 常把主备模型切换封装在统一接口后。
Cost-aware AI备用模型也可在高峰时用来控制成本。