Mengapa Menghantar Hanya “Hi” Masih Boleh Menggunakan Ribuan Token

admin

Pengenalan

Baru-baru ini, sesetengah pengguna menyedari satu keadaan yang luar biasa:

“Saya hanya menghantar ‘Hi’, kenapa ia menggunakan 10,000+ token?”

Pada pandangan pertama, ini mungkin kelihatan tidak dijangka. Mesej dua aksara sepatutnya hanya memerlukan beberapa token, bukan?

Jawapannya ialah: model bukan sahaja memproses mesej yang anda nampak.

Pembantu AI moden, terutamanya ejen pengekodan seperti Codex, Claude Code, dan alat AI berasaskan IDE yang lain, menghantar jauh lebih banyak maklumat bersama mesej anda untuk membantu model memahami tugasan dan memberikan respons yang lebih baik.

Mesej Anda Hanyalah Sebahagian Kecil Daripada Konteks

Apabila anda menghantar:

Hi

permintaan sebenar yang dihantar kepada model AI mungkin kelihatan lebih seperti ini:

Arahan Sistem
+
Tetapan Pengguna
+
Kemahiran yang Dikonfigurasi
+
Alat yang Tersedia
+
Maklumat Projek
+
Konteks Fail
+
Sejarah Perbualan Sebelumnya
+
Mesej Anda: "Hi"

Jumlah keseluruhan semua komponen ini ialah konteks sebenar yang diproses oleh model.

Oleh itu, walaupun mesej yang sangat pendek boleh menggunakan sejumlah besar token.

Apakah yang Boleh Meningkatkan Penggunaan Konteks?

1. Kemahiran yang Dikonfigurasi

Jika anda telah mengaktifkan kemahiran tersuai atau keupayaan AI, arahannya perlu dimuatkan ke dalam konteks model.

Contohnya:

Arahan Kemahiran A: 2,000 token
Arahan Kemahiran B: 3,000 token
Arahan Kemahiran C: 1,500 token

Walaupun sebelum anda menaip apa-apa, arahan ini mungkin sudah menggunakan beberapa ribu token.

2. Alat dan Keupayaan Ejen

Pembantu AI pengekodan biasanya menyediakan alat seperti:

Pembacaan fail
Carian kod
Pelaksanaan terminal
Operasi Git
Akses pelayar
Integrasi luaran

Takrifan dan arahan penggunaan alat-alat ini juga menggunakan ruang konteks.

3. Konteks Projek dan Fail

Apabila bekerja di dalam IDE atau repositori kod, klien AI mungkin secara automatik memasukkan:

Struktur projek
Fail yang dibuka
Petikan kod
Dependensi
Fail konfigurasi

Ini membolehkan AI memahami projek anda, tetapi ia juga meningkatkan penggunaan konteks.

4. Sejarah Perbualan Sebelumnya

Jika anda meneruskan perbualan sedia ada, mesej-mesej terdahulu biasanya dimasukkan semula supaya model memahami konteksnya.

Contohnya:

Perbincangan sebelumnya: 12,000 token

Mesej baharu:
Hi

Permintaan baharu itu mungkin masih mengandungi 12,000 token sebelumnya.

Cara Menguji Penggunaan Token Minimum

Jika anda ingin mengukur penggunaan token bagi mesej ringkas, sila cuba langkah berikut:

Cipta perbualan yang benar-benar baharu.
Nyahaktifkan kemahiran tersuai.
Jangan lampirkan fail.
Jangan buka ruang kerja projek.
Hantar hanya:

Hi

Ini akan menunjukkan anggaran penggunaan konteks minimum.

Tetingkap Konteks vs Penggunaan Token

Penting untuk membezakan antara:

Tetingkap Konteks

Jumlah maksimum maklumat yang boleh diproses oleh model dalam satu permintaan.

Contoh:

Tetingkap konteks 1M token

bermakna model secara teori boleh mengendalikan sehingga 1 juta token.

Penggunaan Token

Jumlah sebenar token yang dimasukkan dalam permintaan tertentu.

Contoh:

Mesej pengguna:
Hi

Permintaan sebenar:
Arahan sistem + alat + sejarah + "Hi"

Jumlah:
15,000 token

Tetingkap konteks yang besar tidak bermaksud setiap permintaan hanya akan menggunakan panjang mesej anda.

Kesimpulan

Penggunaan token yang tinggi daripada mesej ringkas tidak semestinya menunjukkan masalah pada model atau API.

Dalam persekitaran ejen AI, jumlah konteks merangkumi banyak komponen tersembunyi yang diperlukan untuk operasi pintar. “Hi” yang ringkas masih boleh menyebabkan ribuan token diproses jika sesi tersebut mengandungi kemahiran, alat, maklumat projek, atau sejarah sebelumnya.

Kami mengesyorkan agar anda memulakan sesi yang bersih tanpa konteks tambahan apabila menguji penggunaan token mentah.

Terima kasih atas pemahaman dan sokongan berterusan anda.

NodeBB