ELMo — Embeddings from Language Models，基于语言模型的嵌入

事实

一种生成上下文相关词向量的语言模型。

人话

ELMo像饭桌听称呼：同一句“老板”，在小店是招呼，在公司是上级。

读懂上下文，服务情感分析、问答。

相关概念

• 向量嵌入
• 长短期记忆网络
• Language modeling｜语言建模
• Bidirectional Encoder Representations from Transformers（双向编码器表征）

Embedding
它让词向量不再固定，而是随语境变化。

LSTM
原版用双向 LSTM 从前后文读句子。

LM
它通过语言建模预训练，学会词的用法。

BERT
BERT 接过上下文预训练的大旗，影响更广。