Gần đây, một số người dùng nhận thấy một tình huống bất thường:

“Tôi chỉ gửi ‘Hi’, tại sao lại tiêu tốn hơn 10.000 token?”

Thoạt nhìn, điều này có vẻ khó hiểu. Một tin nhắn chỉ có hai ký tự lẽ ra chỉ cần vài token, đúng không?

Câu trả lời là: mô hình không chỉ xử lý phần tin nhắn bạn nhìn thấy.

Các trợ lý AI hiện đại, đặc biệt là các tác nhân hỗ trợ lập trình như Codex, Claude Code và các công cụ AI tích hợp trong IDE khác, thường gửi kèm nhiều thông tin hơn cùng với tin nhắn của bạn để giúp mô hình hiểu nhiệm vụ và đưa ra phản hồi tốt hơn.

Tin nhắn của bạn chỉ là một phần nhỏ trong ngữ cảnh

Khi bạn gửi:

Hi

truy vấn thực tế được gửi đến mô hình AI có thể giống như sau:

Chỉ dẫn hệ thống
+
Cài đặt người dùng
+
Kỹ năng đã cấu hình
+
Công cụ khả dụng
+
Thông tin dự án
+
Ngữ cảnh tệp
+
Lịch sử hội thoại trước đó
+
Tin nhắn của bạn: "Hi"

Tổng dung lượng của tất cả các thành phần này mới là ngữ cảnh thực tế mà mô hình xử lý.

Vì vậy, ngay cả một tin nhắn rất ngắn cũng có thể tiêu tốn một lượng token đáng kể.

Những yếu tố nào có thể làm tăng mức sử dụng ngữ cảnh?

1. Kỹ năng đã cấu hình

Nếu bạn bật các kỹ năng tùy chỉnh hoặc các khả năng AI bổ sung, phần chỉ dẫn của chúng cũng cần được nạp vào ngữ cảnh của mô hình.

Ví dụ:

Chỉ dẫn Kỹ năng A: 2.000 token
Chỉ dẫn Kỹ năng B: 3.000 token
Chỉ dẫn Kỹ năng C: 1.500 token

Ngay cả trước khi bạn gõ bất cứ điều gì, các chỉ dẫn này có thể đã chiếm vài nghìn token.

2. Công cụ và khả năng của tác nhân

Các trợ lý AI cho lập trình thường cung cấp những công cụ như:

• Đọc tệp
• Tìm kiếm mã
• Thực thi lệnh terminal
• Thao tác Git
• Truy cập trình duyệt
• Tích hợp bên ngoài

Phần định nghĩa và hướng dẫn sử dụng của các công cụ này cũng tiêu tốn không gian ngữ cảnh.

3. Ngữ cảnh dự án và tệp

Khi làm việc trong IDE hoặc kho mã nguồn, ứng dụng khách AI có thể tự động bao gồm:

• Cấu trúc dự án
• Các tệp đang mở
• Đoạn mã
• Các dependency
• Tệp cấu hình

Điều này giúp AI hiểu dự án của bạn, nhưng đồng thời cũng làm tăng mức sử dụng ngữ cảnh.

4. Lịch sử hội thoại trước đó

Nếu bạn tiếp tục một cuộc trò chuyện đang diễn ra, các tin nhắn trước đó thường sẽ được gửi lại để mô hình hiểu ngữ cảnh.

Ví dụ:

Trao đổi trước đó: 12.000 token

Tin nhắn mới:
Hi

Yêu cầu mới vẫn có thể chứa 12.000 token trước đó.

Cách kiểm tra mức sử dụng token tối thiểu

Nếu bạn muốn đo lượng token sử dụng của một tin nhắn đơn giản, hãy thử các bước sau:

1. Tạo một cuộc trò chuyện hoàn toàn mới.
2. Tắt các kỹ năng tùy chỉnh.
3. Không đính kèm tệp.
4. Không mở workspace dự án.
5. Chỉ gửi:

Hi

Điều này sẽ cho bạn thấy mức sử dụng ngữ cảnh tối thiểu gần đúng.

Context Window và Token Usage

Cần phân biệt rõ hai khái niệm sau:

Context Window

Lượng thông tin tối đa mà một mô hình có thể xử lý trong một yêu cầu.

Ví dụ:

Context window 1M token

có nghĩa là mô hình về lý thuyết có thể xử lý tới 1 triệu token.

Token Usage

Lượng token thực tế được đưa vào một yêu cầu cụ thể.

Ví dụ:

Tin nhắn người dùng:
Hi

Yêu cầu thực tế:
Chỉ dẫn hệ thống + công cụ + lịch sử + "Hi"

Tổng cộng:
15.000 token

Một context window lớn không có nghĩa là mỗi yêu cầu sẽ chỉ tiêu tốn đúng số token tương ứng với độ dài tin nhắn của bạn.

Kết luận

Mức sử dụng token cao từ một tin nhắn ngắn không nhất thiết cho thấy mô hình hoặc API gặp vấn đề.

Trong môi trường tác nhân AI, tổng ngữ cảnh bao gồm nhiều thành phần ẩn cần thiết để hệ thống hoạt động thông minh. Một câu “Hi” đơn giản vẫn có thể dẫn đến việc xử lý hàng nghìn token nếu phiên làm việc có kỹ năng, công cụ, thông tin dự án hoặc lịch sử trước đó.

Chúng tôi khuyến nghị bắt đầu một phiên sạch, không có ngữ cảnh bổ sung, khi bạn muốn kiểm tra mức sử dụng token thuần túy.

Cảm ơn bạn đã thông cảm và tiếp tục ủng hộ.