T5 — Text-to-Text Transfer Transformer，文本到文本迁移 Transformer

事实

把各类语言任务统一成文本到文本的 Transformer 模型。

人话

T5像食堂只收饭票：打饭、买面、加菜，统统先换成饭票办。

翻译、摘要、问答，全走"文字进文字出"一条道。

相关概念

• Transformer 架构
• 序列到序列模型
• 预训练
• 微调

Transformer
T5 是编码器-解码器式的 Transformer 模型。

Seq2Seq
T5 把各种任务都改写成序列到序列问题。

Pretraining
T5 先靠大规模文本预训练获得语言能力。

Fine-tuning
微调让 T5 适配摘要、翻译、问答等任务。