Скрытый айсберг: вопрос на 10 токенов стоит 14 800 токенов
Пользователь пишет 10 токенов. Системный промпт, few-shot примеры, история переписки, RAG-чанки и определения tools тихо доводят сумму до 14 300 input-токенов. Это счёт, который никто не видит.
Input
14,300 токенов
Output
500 токенов
Cached
60%
Вызовов / мес
50,000
Что внутри input
Пользователь написал 10 токенов. Всё остальное добавилось молча.
Системный промпт800
Few-shot примеры1,500
История переписки4,000
RAG-документы6,000
Определения tools2,000
Сообщение пользователя10
Total14,310 tokens
Пользователь написал одно предложение. Вы заплатили за 14 800 токенов. Если вы это не измеряете, вы это не оптимизируете.