隠れた氷山: 10 トークンの質問が 14,800 トークンに化ける
ユーザーが入力したのは 10 トークン。しかしシステムプロンプト、Few-shot 例、会話履歴、RAG チャンク、ツール定義が静かに加わり、入力は 14,300 トークンに膨らみます。これが誰も見ていない請求書です。
入力
14,300 tokens
出力
500 tokens
キャッシュ
60%
コール / 月
50,000
入力の中身
ユーザーが書いたのは 10 トークン。残りはすべて裏で追加されたものです。
システムプロンプト800
Few-shot 例1,500
会話履歴4,000
RAG ドキュメント6,000
ツール定義2,000
ユーザーメッセージ10
Total14,310 tokens
ユーザーは 1 文を書いただけ。あなたは 14,800 トークン分を払いました。計測しなければ、最適化はできません。