撒汤智能

语言模型与人工智能研究

了解语言模型

从一段输入到一段回答,模型经历了什么?

文本如何变成输入

分词器把文本拆成称为 token 的单元,再将它们映射成编号。一个单元可能是一个词、词的一部分,或一个字符。具体划分取决于分词器。

回答如何逐步生成

自回归语言模型根据已有文本,为可能出现的下一个 token 分配概率。每选出一个 token,它就会成为下一步预测的上下文。

研究手记

语言模型入门

上下文如何改变词义

「我削了一个苹果」和「苹果发布了新手机」用了同样的两个字。读者为什么能分清它们?

查看全部研究

企业合作

如果你正在评估语言模型,或计划将模型接入产品,可以先准备一段典型输入,以及一份期望输出。

查看合作信息