AI Economy Lab
场景

隐形冰山:一个 10 token 的问题,账单上是 14,800 token

用户输入 10 个 token。系统提示、few-shot 示例、对话历史、RAG 片段和工具定义悄悄把输入加到 14,300 token。这就是没人注意到的那张账单。

输入

14,300 tokens

输出

500 tokens

缓存

60%

调用 / 月

50,000

输入里到底有什么

用户写了 10 个 token,其余的一切都是被悄悄加上的。

系统提示800
Few-shot 示例1,500
对话历史4,000
RAG 文档6,000
工具定义2,000
用户消息10
Total14,310 tokens

用户只写了一句话,你却为 14,800 个 token 付了费。不去测量,就无法优化。

在计算器中打开此场景