บทนำ
เมื่อไม่นานมานี้ ผู้ใช้บางรายสังเกตเห็นสถานการณ์ที่ดูผิดปกติ:
"ฉันส่งแค่ ‘Hi’ ทำไมถึงใช้ไปมากกว่า 10,000 โทเคน?"
เมื่อมองผิวเผิน เรื่องนี้อาจดูน่าประหลาดใจ เพราะข้อความยาวเพียงสองตัวอักษรน่าจะใช้เพียงไม่กี่โทเคนเท่านั้น ใช่ไหม?
คำตอบคือ: โมเดลไม่ได้ประมวลผลเพียงข้อความที่คุณมองเห็นเท่านั้น
ผู้ช่วย AI สมัยใหม่ โดยเฉพาะเอเจนต์ด้านการเขียนโค้ด เช่น Codex, Claude Code และเครื่องมือ AI ที่ทำงานบน IDE อื่น ๆ จะส่งข้อมูลอีกจำนวนมากไปพร้อมกับข้อความของคุณ เพื่อช่วยให้โมเดลเข้าใจงานและตอบกลับได้ดีขึ้น
ข้อความของคุณเป็นเพียงส่วนเล็ก ๆ ของบริบททั้งหมด
เมื่อคุณส่ง:
Hi
คำขอจริงที่ถูกส่งไปยังโมเดล AI อาจมีลักษณะใกล้เคียงกับสิ่งนี้มากกว่า:
System Instructions
+
User Settings
+
Configured Skills
+
Available Tools
+
Project Information
+
File Context
+
Previous Conversation History
+
Your Message: "Hi"
ขนาดรวมขององค์ประกอบทั้งหมดเหล่านี้คือบริบทจริงที่โมเดลต้องประมวลผล
ดังนั้น แม้ข้อความจะสั้นมาก ก็ยังอาจใช้โทเคนจำนวนมากได้
อะไรบ้างที่ทำให้การใช้บริบทเพิ่มขึ้น?
1. ทักษะที่ตั้งค่าไว้
หากคุณเปิดใช้ทักษะแบบกำหนดเองหรือความสามารถ AI เพิ่มเติม คำสั่งของสิ่งเหล่านั้นจะต้องถูกโหลดเข้าไปในบริบทของโมเดล
ตัวอย่างเช่น:
Skill A instructions: 2,000 tokens
Skill B instructions: 3,000 tokens
Skill C instructions: 1,500 tokens
แม้ก่อนที่คุณจะพิมพ์อะไรเลย คำสั่งเหล่านี้ก็อาจใช้พื้นที่ไปแล้วหลายพันโทเคน
2. เครื่องมือและความสามารถของเอเจนต์
ผู้ช่วย AI สำหรับการเขียนโค้ดมักมีเครื่องมือ เช่น:
การอ่านไฟล์
การค้นหาโค้ด
การรันคำสั่งในเทอร์มินัล
การใช้งาน Git
การเข้าถึงเบราว์เซอร์
การเชื่อมต่อภายนอก
คำจำกัดความและคำแนะนำการใช้งานของเครื่องมือเหล่านี้ก็ใช้พื้นที่บริบทเช่นกัน
3. บริบทของโปรเจกต์และไฟล์
เมื่อทำงานภายใน IDE หรือที่เก็บโค้ด ไคลเอนต์ AI อาจใส่ข้อมูลเหล่านี้เข้ามาโดยอัตโนมัติ:
โครงสร้างโปรเจกต์
ไฟล์ที่เปิดอยู่
ชุดโค้ดบางส่วน
Dependencies
ไฟล์คอนฟิก
สิ่งนี้ช่วยให้ AI เข้าใจโปรเจกต์ของคุณ แต่ก็ทำให้การใช้บริบทเพิ่มขึ้นด้วย
4. ประวัติการสนทนาก่อนหน้า
หากคุณกำลังสนทนาต่อจากบทสนทนาเดิม ข้อความก่อนหน้ามักจะถูกแนบมาอีกครั้ง เพื่อให้โมเดลเข้าใจบริบท
ตัวอย่างเช่น:
Previous discussion: 12,000 tokens
New message:
Hi
คำขอใหม่ก็อาจยังคงมี 12,000 โทเคนก่อนหน้านี้รวมอยู่ด้วย
วิธีทดสอบการใช้โทเคนขั้นต่ำ
หากคุณต้องการวัดการใช้โทเคนของข้อความสั้น ๆ โปรดลองทำดังนี้:
สร้างบทสนทนาใหม่ทั้งหมด
ปิดการใช้งานทักษะแบบกำหนดเอง
อย่าแนบไฟล์
อย่าเปิด workspace ของโปรเจกต์
ส่งเพียง:
Hi
วิธีนี้จะแสดงให้เห็นการใช้บริบทขั้นต่ำโดยประมาณ
Context Window เทียบกับ Token Usage
สิ่งสำคัญคือต้องแยกความแตกต่างระหว่าง:
Context Window
ปริมาณข้อมูลสูงสุดที่โมเดลสามารถประมวลผลได้ในการร้องขอหนึ่งครั้ง
ตัวอย่าง:
1M token context window
หมายความว่าในทางทฤษฎี โมเดลสามารถรองรับได้สูงสุดถึง 1 ล้านโทเคน
Token Usage
จำนวนโทเคนจริงที่ถูกรวมอยู่ในคำขอหนึ่ง ๆ
ตัวอย่าง:
User message:
Hi
Actual request:
System instructions + tools + history + "Hi"
Total:
15,000 tokens
การมี context window ขนาดใหญ่ไม่ได้หมายความว่าทุกคำขอจะใช้โทเคนเพียงเท่ากับความยาวของข้อความที่คุณส่งเสมอไป
บทสรุป
การใช้โทเคนสูงจากข้อความสั้น ๆ ไม่ได้แปลว่าโมเดลหรือ API มีปัญหาเสมอไป
ในสภาพแวดล้อมของ AI agent บริบทรวมทั้งหมดประกอบด้วยองค์ประกอบที่ซ่อนอยู่จำนวนมากซึ่งจำเป็นต่อการทำงานอย่างชาญฉลาด ข้อความง่าย ๆ อย่าง "Hi" ก็ยังอาจทำให้มีการประมวลผลหลายพันโทเคนได้ หากเซสชันนั้นมีทักษะ เครื่องมือ ข้อมูลโปรเจกต์ หรือประวัติการสนทนาก่อนหน้า
เราแนะนำให้เริ่มเซสชันใหม่ที่สะอาดและไม่มีบริบทเพิ่มเติม หากคุณต้องการทดสอบการใช้โทเคนแบบดิบจริง ๆ
ขอบคุณสำหรับความเข้าใจและการสนับสนุนอย่างต่อเนื่อง