模型
认识语言模型,查阅已发布的模型资料。
语言模型指南
从一段输入到一段回答,模型经历了什么?
文本如何变成输入
分词器把文本拆成称为 token 的单元,再将它们映射成编号。一个单元可能是一个词、词的一部分,或一个字符。具体划分取决于分词器。
回答如何逐步生成
自回归语言模型根据已有文本,为可能出现的下一个 token 分配概率。每选出一个 token,它就会成为下一步预测的上下文。
认识语言模型,查阅已发布的模型资料。
从一段输入到一段回答,模型经历了什么?
分词器把文本拆成称为 token 的单元,再将它们映射成编号。一个单元可能是一个词、词的一部分,或一个字符。具体划分取决于分词器。
自回归语言模型根据已有文本,为可能出现的下一个 token 分配概率。每选出一个 token,它就会成为下一步预测的上下文。