https://index.zshipu.com/ai/tags/Token/ Recent content in Token on 知识铺的博客 Hugo -- gohugo.io zh-CN Wed, 18 Dec 2024 07:53:24 +0000 https://index.zshipu.com/ai/post/20241218/%E4%BB%80%E4%B9%88%E6%98%AFToken-AI%E5%85%A8%E4%B9%A6--%E7%9F%A5%E8%AF%86%E9%93%BA--%E7%9F%A5%E8%AF%86%E9%93%BA/ Wed, 18 Dec 2024 07:53:24 +0000 https://index.zshipu.com/ai/post/20241218/%E4%BB%80%E4%B9%88%E6%98%AFToken-AI%E5%85%A8%E4%B9%A6--%E7%9F%A5%E8%AF%86%E9%93%BA--%E7%9F%A5%E8%AF%86%E9%93%BA/ 基础理解 它一般是指大语言模型的一个基本单位，短的一个英文单词可能就被定为一个token，比如"refers"，而长的英文单词可能会被拆分成多个token，比如”Tokenization“。 中文的话，所占的token数量相对会更多，有些字要用1个甚至多个toke