多义词

多义词是自然语言中经常出现的现象，也是语言灵活性和高效性的一种体现

多义词对Word Embedding来说有什么负面影响

多义词Bank，有两个常用含义，但是Word Embedding在对bank这个单词进行编码的时候，是区分不开这两个含义的，因为它们尽管上下文环境中出现的单词不同，但是在用语言模型训练的时候，不论什么上下文的句子经过word2vec，都是预测相同的单词bank，而同一个单词占的是同一行的参数空间，这导致两种不同的上下文信息都会编码到相同的word embedding空间里去。所以word embedding无法区分多义词的不同语义，这就是它的一个比较严重的问题。

从word2vec出现之后，人们提出了各种方法来解决这个问题，直到ELMO提供了一种简洁优雅的解决方案。

怎么解决

ELMO的提出就是为了解决这种语境问题，动态的去更新词的word embedding。

ELMO的思想是：

先用语言模型学习单词的Word Embedding，此时没有区分多义词，但是在实际使用Word Embedding时，单词已经具备特定的上下文了，这时可以根据上下文单词的语义去调整单词的Word Embedding表示，这样经过调整后的Word Embedding更能表达在这个上下文中的具体含义。因此ELMO实际上是根据当前上下文对Word Embedding进行动态调整的一种思路。