De verborgen ijsberg: een vraag van 10 tokens kost 14.800 tokens
De gebruiker typt 10 tokens. System prompt, few-shot voorbeelden, gespreksgeschiedenis, RAG-chunks en tool-definities tillen het totaal stilletjes naar 14.300 input-tokens. Dit is de rekening die niemand ziet.
Input
14,300 tokens
Output
500 tokens
Cached
60%
Calls / mnd
50,000
Wat er in de input zit
De gebruiker schreef 10 tokens. Al het andere is er stilletjes bijgekomen.
System prompt800
Few-shot voorbeelden1,500
Gespreksgeschiedenis4,000
RAG-documenten6,000
Tool-definities2,000
Bericht van gebruiker10
Total14,310 tokens
De gebruiker schreef één zin. Jij betaalde voor 14.800 tokens. Wat je niet meet, kun je niet optimaliseren.