Token 与用量
用简单例子理解模型用量,以及为什么一次任务可能包含多次请求。
Token 是模型处理内容时使用的计量单位。 可以把它理解为模型切分后的“小片段”,但不能固定换算成几个字或几个词。
不同模型处理同一段文字,得到的 Token 数可能不同。图片、音频、视频等内容也可能有自己的计量方式。因此,估算用量和实际扣费要分开看。
一次请求会用到哪些内容?
模型处理请求时,通常会收到的不只是你刚输入的一句话,还可能包括:
- 智能体的提示词和本次用到的技能说明。
- 为理解问题而保留的前文、记忆和文件片段。
- 可用工具的说明,以及工具返回的结果。
- 你本次发送的消息或附件相关内容。
模型回复的内容也会产生输出用量。一些模型还会记录其他用量项,具体取决于服务的统计方式。
为什么一句短任务也可能用掉较多额度?
例如,你发出:
读取这三份记录,汇总问题,再生成一份报告。
智能体可能先请求模型理解任务,再调用工具读取文件,然后把读取结果交给模型继续整理。一次任务可能包含多次模型请求;使用协作成员或生成图片、视频等功能时,还可能调用其他服务。
所以,“我只输入了几十个字”不代表整个任务只处理了几十个字。
多轮对话会重复计算前文吗?
如果后续请求再次发送了前文,那部分内容仍可能计入该次请求的输入用量。不能把“同一个对话中的相同内容不会重复计费”当成固定规则。
部分服务支持缓存等机制,但如何统计和收费取决于该服务。应用也可能压缩或选取历史内容,因此不能只按屏幕上可见的消息长度推算实际用量。
到哪里看实际用量?
使用平台服务时,可以在 配置 → 用量情况 中查看统计,并结合用户信息、会员订阅和当前任务提示核对额度。
使用自己的模型服务时,还应查看服务商提供的用量记录。模型返回的 Token 统计、平台额度和最终扣费可能采用不同口径,实际消耗以所用服务的记录与规则为准。
怎样减少不必要的消耗?
- 把任务目标、资料和输出格式说清楚,减少反复改需求。
- 只提供本次相关的文件,避免要求读取整批无关资料。
- 新任务可以新建对话,减少混入无关历史;同一任务需要的背景仍要提供。
- 先用小范围资料确认做法,再批量处理。
- 使用自主模式前说明目标和完成条件,并留意实际运行与用量。
Token 计算小工具 可以帮助估算文字长度对应的用量;它不能直接预测整个智能体任务的所有调用与费用。