隐形冰山:一个 10 token 的问题,账单上是 14,800 token
用户输入 10 个 token。系统提示、few-shot 示例、对话历史、RAG 片段和工具定义悄悄把输入加到 14,300 token。这就是没人注意到的那张账单。
输入
14,300 tokens
输出
500 tokens
缓存
60%
调用 / 月
50,000
输入里到底有什么
用户写了 10 个 token,其余的一切都是被悄悄加上的。
系统提示800
Few-shot 示例1,500
对话历史4,000
RAG 文档6,000
工具定义2,000
用户消息10
Total14,310 tokens
用户只写了一句话,你却为 14,800 个 token 付了费。不去测量,就无法优化。