一个用于训练语言模型的大型文本语料集。
The Pile 像给 AI 扫空旧书市场：小说论文代码都装袋，读多了才会接话。
用于预训练语言模型，也可能夹带版权、隐私、测试污染。
Pretraining它常作为预训练阶段的海量文本燃料。
LLM大语言模型靠这类语料学习语言规律。
Common Crawl它整合了网页抓取等多种公开来源。
Benchmark contamination语料太大，可能无意混入测试题。