基础理解 它一般是指大语言模型的一个基本单位，短的一个英文单词可能就被定为一个token，比如"refers"，而长的英文单词可能会被拆分成多个token，比如”Tokenization“。 中文的话，所占的token数量相对会更多，有些字要用1个甚至多个toke……

阅读全文