O iceberg invisível: uma pergunta de 10 tokens custa 14.800 tokens
O usuário digita 10 tokens. System prompt, exemplos few-shot, histórico da conversa, chunks de RAG e definições de tools elevam silenciosamente o total para 14.300 tokens de input. Esta é a fatura que ninguém vê.
Input
14,300 tokens
Output
500 tokens
Cached
60%
Chamadas / mês
50,000
O que tem dentro do input
O usuário escreveu 10 tokens. Todo o resto foi adicionado em silêncio.
System prompt800
Exemplos few-shot1,500
Histórico da conversa4,000
Documentos RAG6,000
Definições de tools2,000
Mensagem do usuário10
Total14,310 tokens
O usuário escreveu uma frase. Você pagou por 14.800 tokens. Se você não mede isso, não tem como otimizar.