AI Rookies

Token — 词元

事实

AI 读取和生成文本时使用的最小计量单位。

人话

Token 像 AI 吃文字时切出来的小块肉,句子越长,切得越多。

它决定模型能看多少内容,也决定你调用一次 API 要烧多少钱。

相关概念

LLM
Token 是 LLM 处理语言时最基本的计算单位。

Context-window
Context-window 能装下多少内容,取决于 Token 容量。

Inference
Inference 的成本会随着输入和输出 Token 增加。