เหตุใดการส่งเพียง "Hi" ก็ยังอาจใช้โทเคนหลายพันโทเคนได้

admin

บทนำ

เมื่อไม่นานมานี้ ผู้ใช้บางรายสังเกตเห็นสถานการณ์ที่ดูผิดปกติ:

"ฉันส่งแค่ ‘Hi’ ทำไมถึงใช้ไปมากกว่า 10,000 โทเคน?"

เมื่อมองผิวเผิน เรื่องนี้อาจดูน่าประหลาดใจ เพราะข้อความยาวเพียงสองตัวอักษรน่าจะใช้เพียงไม่กี่โทเคนเท่านั้น ใช่ไหม?

คำตอบคือ: โมเดลไม่ได้ประมวลผลเพียงข้อความที่คุณมองเห็นเท่านั้น

ผู้ช่วย AI สมัยใหม่ โดยเฉพาะเอเจนต์ด้านการเขียนโค้ด เช่น Codex, Claude Code และเครื่องมือ AI ที่ทำงานบน IDE อื่น ๆ จะส่งข้อมูลอีกจำนวนมากไปพร้อมกับข้อความของคุณ เพื่อช่วยให้โมเดลเข้าใจงานและตอบกลับได้ดีขึ้น

ข้อความของคุณเป็นเพียงส่วนเล็ก ๆ ของบริบททั้งหมด

เมื่อคุณส่ง:

Hi

คำขอจริงที่ถูกส่งไปยังโมเดล AI อาจมีลักษณะใกล้เคียงกับสิ่งนี้มากกว่า:

System Instructions
+
User Settings
+
Configured Skills
+
Available Tools
+
Project Information
+
File Context
+
Previous Conversation History
+
Your Message: "Hi"

ขนาดรวมขององค์ประกอบทั้งหมดเหล่านี้คือบริบทจริงที่โมเดลต้องประมวลผล

ดังนั้น แม้ข้อความจะสั้นมาก ก็ยังอาจใช้โทเคนจำนวนมากได้

อะไรบ้างที่ทำให้การใช้บริบทเพิ่มขึ้น?

1. ทักษะที่ตั้งค่าไว้

หากคุณเปิดใช้ทักษะแบบกำหนดเองหรือความสามารถ AI เพิ่มเติม คำสั่งของสิ่งเหล่านั้นจะต้องถูกโหลดเข้าไปในบริบทของโมเดล

ตัวอย่างเช่น:

Skill A instructions: 2,000 tokens
Skill B instructions: 3,000 tokens
Skill C instructions: 1,500 tokens

แม้ก่อนที่คุณจะพิมพ์อะไรเลย คำสั่งเหล่านี้ก็อาจใช้พื้นที่ไปแล้วหลายพันโทเคน

2. เครื่องมือและความสามารถของเอเจนต์

ผู้ช่วย AI สำหรับการเขียนโค้ดมักมีเครื่องมือ เช่น:

การอ่านไฟล์
การค้นหาโค้ด
การรันคำสั่งในเทอร์มินัล
การใช้งาน Git
การเข้าถึงเบราว์เซอร์
การเชื่อมต่อภายนอก

คำจำกัดความและคำแนะนำการใช้งานของเครื่องมือเหล่านี้ก็ใช้พื้นที่บริบทเช่นกัน

3. บริบทของโปรเจกต์และไฟล์

เมื่อทำงานภายใน IDE หรือที่เก็บโค้ด ไคลเอนต์ AI อาจใส่ข้อมูลเหล่านี้เข้ามาโดยอัตโนมัติ:

โครงสร้างโปรเจกต์
ไฟล์ที่เปิดอยู่
ชุดโค้ดบางส่วน
Dependencies
ไฟล์คอนฟิก

สิ่งนี้ช่วยให้ AI เข้าใจโปรเจกต์ของคุณ แต่ก็ทำให้การใช้บริบทเพิ่มขึ้นด้วย

4. ประวัติการสนทนาก่อนหน้า

หากคุณกำลังสนทนาต่อจากบทสนทนาเดิม ข้อความก่อนหน้ามักจะถูกแนบมาอีกครั้ง เพื่อให้โมเดลเข้าใจบริบท

ตัวอย่างเช่น:

Previous discussion: 12,000 tokens

New message:
Hi

คำขอใหม่ก็อาจยังคงมี 12,000 โทเคนก่อนหน้านี้รวมอยู่ด้วย

วิธีทดสอบการใช้โทเคนขั้นต่ำ

หากคุณต้องการวัดการใช้โทเคนของข้อความสั้น ๆ โปรดลองทำดังนี้:

สร้างบทสนทนาใหม่ทั้งหมด
ปิดการใช้งานทักษะแบบกำหนดเอง
อย่าแนบไฟล์
อย่าเปิด workspace ของโปรเจกต์
ส่งเพียง:

Hi

วิธีนี้จะแสดงให้เห็นการใช้บริบทขั้นต่ำโดยประมาณ

Context Window เทียบกับ Token Usage

สิ่งสำคัญคือต้องแยกความแตกต่างระหว่าง:

Context Window

ปริมาณข้อมูลสูงสุดที่โมเดลสามารถประมวลผลได้ในการร้องขอหนึ่งครั้ง

ตัวอย่าง:

1M token context window

หมายความว่าในทางทฤษฎี โมเดลสามารถรองรับได้สูงสุดถึง 1 ล้านโทเคน

Token Usage

จำนวนโทเคนจริงที่ถูกรวมอยู่ในคำขอหนึ่ง ๆ

ตัวอย่าง:

User message:
Hi

Actual request:
System instructions + tools + history + "Hi"

Total:
15,000 tokens

การมี context window ขนาดใหญ่ไม่ได้หมายความว่าทุกคำขอจะใช้โทเคนเพียงเท่ากับความยาวของข้อความที่คุณส่งเสมอไป

บทสรุป

การใช้โทเคนสูงจากข้อความสั้น ๆ ไม่ได้แปลว่าโมเดลหรือ API มีปัญหาเสมอไป

ในสภาพแวดล้อมของ AI agent บริบทรวมทั้งหมดประกอบด้วยองค์ประกอบที่ซ่อนอยู่จำนวนมากซึ่งจำเป็นต่อการทำงานอย่างชาญฉลาด ข้อความง่าย ๆ อย่าง "Hi" ก็ยังอาจทำให้มีการประมวลผลหลายพันโทเคนได้ หากเซสชันนั้นมีทักษะ เครื่องมือ ข้อมูลโปรเจกต์ หรือประวัติการสนทนาก่อนหน้า

เราแนะนำให้เริ่มเซสชันใหม่ที่สะอาดและไม่มีบริบทเพิ่มเติม หากคุณต้องการทดสอบการใช้โทเคนแบบดิบจริง ๆ

ขอบคุณสำหรับความเข้าใจและการสนับสนุนอย่างต่อเนื่อง

NodeBB