El iceberg oculto: una pregunta de 10 tokens cuesta 14.800 tokens
El usuario escribe 10 tokens. El system prompt, los ejemplos few-shot, el historial de conversación, los chunks de RAG y las definiciones de tools elevan el total en silencio a 14.300 tokens de input. Esta es la factura que nadie ve.
Input
14,300 tokens
Output
500 tokens
Cached
60%
Llamadas / mes
50,000
Lo que hay dentro del input
El usuario escribió 10 tokens. Todo lo demás se añadió en silencio.
System prompt800
Ejemplos few-shot1,500
Historial de conversación4,000
Documentos RAG6,000
Definiciones de tools2,000
Mensaje del usuario10
Total14,310 tokens
El usuario escribió una sola frase. Tú pagaste 14.800 tokens. Si no lo mides, no lo puedes optimizar.