C4 — Colossal Clean Crawled Corpus（巨型清洗网页语料库）

事实

由 Common Crawl 清洗而来的英文预训练语料库。

人话

C4 就像把全网传单先抖掉小广告，再装订成 AI 的海量课外书。

用于预训练，让模型先读干净网页，学会基本语言模式。

相关概念

• 公共网页抓取数据集
• 预训练
• Text-to-Text Transfer Transformer，文本到文本迁移 Transformer

Common Crawl
C4 从 Common Crawl 抽取网页，并清洗成训练语料。

Pretraining
C4 常作为语言模型预训练的大规模文本来源。

T5
T5 论文发布 C4，并把它带成经典基准语料。