Tảng băng ẩn: câu hỏi 10 token tốn 14.800 token
Người dùng gõ 10 token. System prompt, ví dụ few-shot, lịch sử hội thoại, RAG chunks và tool definitions âm thầm đẩy tổng lên 14.300 input tokens. Đây là hóa đơn không ai nhìn thấy.
Input
14,300 tokens
Output
500 tokens
Cached
60%
Calls / tháng
50,000
Bên trong input có gì
Người dùng viết 10 tokens. Mọi thứ còn lại được âm thầm thêm vào.
System prompt800
Ví dụ few-shot1,500
Lịch sử hội thoại4,000
Tài liệu RAG6,000
Tool definitions2,000
Tin nhắn người dùng10
Total14,310 tokens
Người dùng viết một câu. Bạn trả tiền cho 14.800 tokens. Không đo thì không thể tối ưu.