No.54核心核对于 2026-09-262 条来源

Token

一句话

Token 是大模型读写文字的基本单位，上下文长度、用量和费用通常都按 Token 数计算。

大白话

Token 像模型读文字前切出来的小积木：一个常见英文单词可能是一块，一个汉字可能是一块，也可能是几块。

比喻的边界

积木怎么切由每个模型自己决定，同一段话在不同模型里 Token 数不一样；它也不等于字数，不能用字数精确换算。

拿去就能用

开始做

我要让模型处理，大概。帮我估算会用掉多少 Token、会不会超过上下文上限；如果超过，先给我一个分批处理的方案再开始。

还差：资料内容、资料长度，发给 AI 前记得换掉

出错了

我的应用接了模型接口，这个月的 Token 用量比预估高了很多。帮我先查每次请求都带了什么内容，看有没有重复发送整段历史对话或大段资料，找到原因再提优化办法。

想做深

我想在应用里限制每个用户每天的使用额度。帮我设计按 Token 计数和限制的方案，说明从接口返回的哪个字段读用量；涉及收费规则的改动先告诉我影响，等我确认。

别这样说

为什么说我超出长度了？

这样说

我把一份 80 页的 PDF 全文贴给 AI，它提示超出长度。帮我估算这份资料大约多少 Token，再给我一个分段处理的办法：先分章节总结，再汇总，每步告诉我要贴什么。

差别：说清了资料规模和报错，要的是可执行的分段办法。

容易误解：

误解大模型的 Token 和登录用的 Token 是一回事。

其实是两者同名不同义：模型的 Token 是文字切出来的计量单位；登录令牌或访问令牌是证明身份的一串凭证，必须保密，属于鉴权的范畴。看到 Token 先分清是哪种语境。

展开专业理解

模型先把文字切成 Token 再处理，一个 Token 可能是一个词、词的一部分、一个字符，甚至一个字节。Anthropic 给出的参考是一个 Token 约等于 3.5 个英文字符，其他语言比例不同。输入和输出都会计入上下文和用量；可以用厂商提供的计数接口，在发送前算出准确数量。