숨은 빙산: 10 토큰짜리 질문이 14,800 토큰이 되는 이유
사용자는 10 토큰을 입력했어요. 시스템 프롬프트, few-shot 예시, 대화 기록, RAG 청크, 툴 정의가 조용히 더해져 입력이 14,300 토큰까지 불어나요. 아무도 보지 않는 청구서가 바로 이거예요.
입력
14,300 tokens
출력
500 tokens
캐시
60%
호출 / 월
50,000
입력 안에는 뭐가 들어 있나
사용자는 10 토큰만 적었어요. 나머지는 모두 뒤에서 조용히 더해진 거예요.
시스템 프롬프트800
Few-shot 예시1,500
대화 기록4,000
RAG 문서6,000
툴 정의2,000
사용자 메시지10
Total14,310 tokens
사용자는 한 문장 적었을 뿐인데, 14,800 토큰을 결제한 건 당신이에요. 측정하지 않으면 최적화도 못 해요.