छुपा हुआ हिमशैल: 10-token का सवाल 14,800 tokens में पड़ता है
User 10 tokens लिखता है। System prompt, few-shot उदाहरण, बातचीत का इतिहास, RAG chunks और tool definitions चुपचाप कुल को 14,300 input tokens तक पहुँचा देते हैं। यही वह बिल है जो किसी को नहीं दिखता।
Input
14,300 tokens
Output
500 tokens
Cached
60%
Calls / माह
50,000
Input के अंदर क्या है
User ने 10 tokens लिखे। बाक़ी सब चुपचाप जोड़ा गया।
System prompt800
Few-shot उदाहरण1,500
बातचीत का इतिहास4,000
RAG दस्तावेज़6,000
Tool definitions2,000
User संदेश10
Total14,310 tokens
User ने एक वाक्य लिखा। आपने 14,800 tokens का बिल चुकाया। अगर आप इसे मापते नहीं, तो ठीक भी नहीं कर सकते।