把文本表示成词频向量的经典方法。
它看文章,像班长收班费:只记谁交了几次、交多少钱,不管发言顺序,主打一个只认数。
常用于分类、检索等文本任务;上手快,但不懂语序和上下文。
Token词袋先把文本拆成词或词元,再统计出现次数。
BM25BM25 延续词项统计思想,是检索里的经典改进版。
Word2Vec词向量弥补了词袋不懂语义相近的老毛病。
Embedding嵌入表示比词袋更能压缩语义信息。