Görünmeyen buzdağı: 10 token'lık soru 14.800 token'a mal oluyor
Kullanıcı 10 token yazar. Sistem promptu, few-shot örnekler, konuşma geçmişi, RAG chunkları ve tool tanımları toplamı sessizce 14.300 input token'a çıkarır. Kimsenin görmediği fatura budur.
Input
14,300 token
Output
500 token
Cached
60%
Çağrı / ay
50,000
Input'un içinde ne var
Kullanıcı 10 token yazdı. Geri kalan her şey arka planda eklendi.
Sistem promptu800
Few-shot örnekler1,500
Konuşma geçmişi4,000
RAG dokümanları6,000
Tool tanımları2,000
Kullanıcı mesajı10
Total14,310 tokens
Kullanıcı tek cümle yazdı. Siz 14.800 token ödediniz. Ölçmezseniz, optimize edemezsiniz.