ภูเขาน้ำแข็งที่ซ่อนอยู่: คำถามแค่ 10 tokens แต่จ่าย 14,800 tokens
ผู้ใช้พิมพ์แค่ 10 tokens แต่ system prompt, ตัวอย่าง few-shot, ประวัติการสนทนา, RAG chunks และ tool definitions ดันยอดรวมไปที่ 14,300 input tokens แบบเงียบ ๆ นี่คือบิลที่ไม่มีใครเห็น
Input
14,300 tokens
Output
500 tokens
Cached
60%
Calls / เดือน
50,000
ใน input มีอะไรบ้าง
ผู้ใช้พิมพ์ 10 tokens ส่วนที่เหลือถูกเติมเข้ามาเงียบ ๆ ทั้งหมด
System prompt800
ตัวอย่าง few-shot1,500
ประวัติการสนทนา4,000
เอกสาร RAG6,000
Tool definitions2,000
ข้อความผู้ใช้10
Total14,310 tokens
ผู้ใช้พิมพ์แค่ประโยคเดียว แต่คุณจ่ายค่า 14,800 tokens ถ้าไม่วัด ก็ไม่มีทางปรับให้ดีขึ้นได้