Trillion-parameter model — 万亿参数模型

事实

参数规模约达一万亿的超大模型。

人话

万亿参数模型像航空母舰：吨位巨大、火力全开，可一开动就烧天文数字的油钱。

用于顶级助手、代码和科研，训练部署门槛极高。

相关概念

• 参数
• 规模法则
• 基础模型
• Model parallelism｜模型并行

Parameter
参数数量是万亿参数模型的命名核心。

Scaling-law
Scaling-law 支撑了把模型做大的基本预期。

Foundation-model
这类模型常被训练成多任务通用底座。

Model parallelism
模型太大时，需要切分到多卡训练和推理。