Прихований айсберг: запитання на 10 токенів коштує 14 800 токенів
Користувач пише 10 токенів. Системний промпт, few-shot приклади, історія розмови, RAG-чанки й визначення tools тихо доводять суму до 14 300 input-токенів. Це рахунок, якого ніхто не бачить.
Input
14,300 токенів
Output
500 токенів
Cached
60%
Викликів / міс
50,000
Що всередині input
Користувач написав 10 токенів. Усе інше додалося мовчки.
Системний промпт800
Few-shot приклади1,500
Історія розмови4,000
RAG-документи6,000
Визначення tools2,000
Повідомлення користувача10
Total14,310 tokens
Користувач написав одне речення. Ви заплатили за 14 800 токенів. Якщо ви це не вимірюєте, ви це не оптимізуєте.