GPT — 生成式预训练 Transformer

事实

一种先预训练、再生成文本的 Transformer 语言模型。

人话

先把全网文字闷头啃一大遍，等你开口时，它就像故事接龙王，顺着你的话往下续。

常做聊天、写作和代码补全，是很多大模型产品的基础路线。

相关概念

• Transformer 架构
• 预训练
• 生成式预训练 Transformer 3
• 大语言模型

Transformer
它建立在 Transformer 架构上，是这条技术路线的代表分支。

Pretraining
它先靠大规模预训练打底，再获得通用的语言生成能力。

Gpt-3
GPT-3 把这类模型推到大众视野，成了行业爆点。

LLM
它是大语言模型家族里的典型代表，很多人提到大模型先想到它。