Der versteckte Eisberg: eine 10-Token-Frage kostet 14.800 Tokens
Der Nutzer tippt 10 Tokens. System-Prompt, Few-Shot-Beispiele, Konversationsverlauf, RAG-Chunks und Tool-Definitionen treiben die Summe still auf 14.300 Input-Tokens. Das ist die Rechnung, die niemand sieht.
Input
14,300 tokens
Output
500 tokens
Cached
60%
Calls / Monat
50,000
Was im Input steckt
Der Nutzer hat 10 Tokens geschrieben. Alles andere wurde stillschweigend dazugepackt.
System-Prompt800
Few-Shot-Beispiele1,500
Konversationsverlauf4,000
RAG-Dokumente6,000
Tool-Definitionen2,000
Nutzer-Nachricht10
Total14,310 tokens
Der Nutzer hat einen Satz geschrieben. Du hast 14.800 Tokens bezahlt. Was du nicht misst, kannst du nicht optimieren.