了解语言模型
从一段输入到一段回答,模型经历了什么?
文本如何变成输入
分词器把文本拆成称为 token 的单元,再将它们映射成编号。一个单元可能是一个词、词的一部分,或一个字符。具体划分取决于分词器。
回答如何逐步生成
自回归语言模型根据已有文本,为可能出现的下一个 token 分配概率。每选出一个 token,它就会成为下一步预测的上下文。
研究手记
企业合作
如果你正在评估语言模型,或计划将模型接入产品,可以先准备一段典型输入,以及一份期望输出。
查看合作信息从一段输入到一段回答,模型经历了什么?
分词器把文本拆成称为 token 的单元,再将它们映射成编号。一个单元可能是一个词、词的一部分,或一个字符。具体划分取决于分词器。
自回归语言模型根据已有文本,为可能出现的下一个 token 分配概率。每选出一个 token,它就会成为下一步预测的上下文。
如果你正在评估语言模型,或计划将模型接入产品,可以先准备一段典型输入,以及一份期望输出。
查看合作信息