研究

上下文如何改变词义

「我削了一个苹果」和「苹果发布了新手机」用了同样的两个字。读者为什么能分清它们?

先只看「苹果」两个字,它们可以指一种水果,也可以指一家科技公司。加上「削皮」时,水果的解释变得自然。换成「发布了新手机」,读者会想到公司。

在基于 Transformer 的语言模型中,文字首先被拆成词元。每个位置的内部表示会结合上下文,在注意力层中汇集来自其他位置的信息。同一个词元处在不同的句子里,可以得到不同的表示。

这会影响模型如何预测下一个词元,却不能保证预测正确。检验某个模型对语境的处理时,可以保留目标词,只替换周围的一两处线索,再比较它生成的回答。