MoE — 专家混合模型

事实

一种处理输入时只激活部分参数的模型结构。

人话

它像大厂分工：需求一来，不全员开会，只叫对口专家加班。

常用于大模型扩容，省算力，但路由和部署更难。

相关概念

• 大语言模型
• 参数
• GPU 算力
• 推理（运行）

LLM
MoE 是不少 LLM 会采用的模型架构，用来在更大规模下兼顾成本与能力。

Parameter
MoE 往往拥有很多参数，但处理一次输入时只会激活其中一部分。

GPU
MoE 的思路之一，是把算力花在更需要的部分，减少每次都全模型出动。

Inference
MoE 会影响推理时的计算分配，因此也会影响部署成本与速度。