AI Rookies

Penn Treebank — 宾州树库

事实

带词性与句法树标注的英语语料库。

人话

宾州树库像英语句子的施工图:哪个词当梁柱,短语怎么搭,都画成树。

用于词性标注、句法解析,也给语言模型做基准。

相关概念

Syntax Parse
宾州树库提供人工句法树,是经典训练与评测集。

Sequence Labeling
其中的词性标注常用于训练序列标注模型。

LM
早期语言模型常用它做困惑度基准。