TF-IDF — 词频-逆文档频率

事实

按词频和稀有度给词加权的文本表示方法。

人话

TF-IDF像班主任查考勤：天天喊到不稀罕，稀有名字一出现就划重点。

搜索排序时压低常见词，突出更能区分主题的词。

相关概念

• 词袋模型
• 信息检索（Information Retrieval）
• Best Matching 25，一种经典关键词检索排序算法
• 向量搜索

Bag-of-Words
TF-IDF 在词袋基础上，为每个词加权。

Information Retrieval
TF-IDF 是传统搜索排序的经典信号。

BM25
BM25 可看作更适合搜索排序的改进版。

Vector Search
它偏关键词匹配，向量搜索偏语义相似。