Routing — Model routing｜模型路由

事实

按任务把请求分配给不同模型的策略。

人话

它像医院分诊：小感冒别挂院士号，疑难杂症再请专家上场。

它常用于多模型服务，按成本、速度和难度分配请求。

相关概念

• 大语言模型
• 推理（运行）
• AI 代理
• 大语言模型运维

LLM
Model routing 会把请求分配给更合适的 LLM。

Inference
它决定一次请求该进入哪条推理路径。

Agent
Agent 执行不同环节时，常会切换不同模型。

Llmops
Model routing 是多模型部署与成本优化的一部分。