Ukryta góra lodowa: pytanie na 10 tokenów kosztuje 14 800 tokenów
Użytkownik pisze 10 tokenów. Systemowy prompt, przykłady few-shot, historia rozmowy, fragmenty RAG i definicje tools po cichu pompują sumę do 14 300 tokenów input. To jest ten rachunek, którego nikt nie widzi.
Input
14,300 tokeny
Output
500 tokeny
Cached
60%
Wywołania / mies.
50,000
Co siedzi w input
Użytkownik napisał 10 tokenów. Cała reszta doszła po cichu.
Prompt systemowy800
Przykłady few-shot1,500
Historia rozmowy4,000
Dokumenty RAG6,000
Definicje tools2,000
Wiadomość użytkownika10
Total14,310 tokens
Użytkownik napisał jedno zdanie. Zapłaciłeś za 14 800 tokenów. Jeśli tego nie mierzysz, nie zoptymalizujesz.