Uvod
Nedavno so nekateri uporabniki opazili nenavadno situacijo:
»Poslal sem samo ‘Hi’, zakaj je porabilo več kot 10.000 žetonov?«
Na prvi pogled se to morda zdi nepričakovano. Sporočilo z dvema znakoma bi moralo zahtevati le nekaj žetonov, kajne?
Odgovor je: model ne obdeluje samo vašega vidnega sporočila.
Sodobni pomočniki z umetno inteligenco, zlasti agenti za programiranje, kot so Codex, Claude Code in druga orodja UI, ki temeljijo na IDE-jih, skupaj z vašim sporočilom pošljejo veliko več informacij, da modelu pomagajo razumeti nalogo in podati boljše odgovore.
Vaše sporočilo je le majhen del konteksta
Ko pošljete:
Hi
je dejanska zahteva, poslana modelu UI, lahko videti bolj takole:
Sistemska navodila
+
Uporabniške nastavitve
+
Nastavljene veščine
+
Razpoložljiva orodja
+
Informacije o projektu
+
Kontekst datotek
+
Prejšnja zgodovina pogovora
+
Vaše sporočilo: "Hi"
Skupna velikost vseh teh komponent je dejanski kontekst, ki ga model obdela.
Zato lahko tudi zelo kratko sporočilo porabi precejšnje število žetonov.
Kaj lahko poveča porabo konteksta?
1. Nastavljene veščine
Če ste omogočili prilagojene veščine ali zmogljivosti UI, je treba njihova navodila naložiti v kontekst modela.
Na primer:
Navodila za veščino A: 2.000 žetonov
Navodila za veščino B: 3.000 žetonov
Navodila za veščino C: 1.500 žetonov
Še preden karkoli vtipkate, lahko ta navodila že zasedejo več tisoč žetonov.
2. Orodja in zmožnosti agentov
Pomočniki UI za programiranje običajno ponujajo orodja, kot so:
Branje datotek
Iskanje kode
Izvajanje ukazov v terminalu
Operacije Git
Dostop do brskalnika
Zunanje integracije
Definicije in navodila za uporabo teh orodij prav tako porabljajo prostor v kontekstu.
3. Projektni kontekst in kontekst datotek
Pri delu znotraj IDE-ja ali repozitorija kode lahko odjemalec UI samodejno vključi:
Strukturo projekta
Odprte datoteke
Izseke kode
Odvisnosti
Konfiguracijske datoteke
To UI omogoča razumevanje vašega projekta, vendar tudi poveča porabo konteksta.
4. Prejšnja zgodovina pogovora
Če nadaljujete obstoječ pogovor, so prejšnja sporočila običajno znova vključena, da model razume kontekst.
Na primer:
Prejšnja razprava: 12.000 žetonov
Novo sporočilo:
Hi
Nova zahteva lahko še vedno vsebuje prejšnjih 12.000 žetonov.
Kako preizkusiti najmanjšo porabo žetonov
Če želite izmeriti porabo žetonov pri preprostem sporočilu, poskusite naslednje:
Ustvarite popolnoma nov pogovor.
Onemogočite prilagojene veščine.
Ne pripenjajte datotek.
Ne odpirajte projektnega delovnega prostora.
Pošljite samo:
Hi
To bo pokazalo približno najmanjšo porabo konteksta.
Kontekstno okno v primerjavi s porabo žetonov
Pomembno je razlikovati med:
Kontekstno okno
Največja količina informacij, ki jih model lahko obdela v eni zahtevi.
Primer:
Kontekstno okno 1M žetonov
pomeni, da lahko model teoretično obdela do 1 milijona žetonov.
Poraba žetonov
Dejanska količina žetonov, vključenih v določeno zahtevo.
Primer:
Uporabniško sporočilo:
Hi
Dejanska zahteva:
Sistemska navodila + orodja + zgodovina + "Hi"
Skupaj:
15.000 žetonov
Veliko kontekstno okno ne pomeni, da bo vsaka zahteva porabila samo dolžino vašega sporočila.
Zaključek
Visoka poraba žetonov zaradi kratkega sporočila ne pomeni nujno težave z modelom ali API-jem.
V okoljih z agenti UI skupni kontekst vključuje številne skrite komponente, potrebne za inteligentno delovanje. Preprost »Hi« lahko še vedno povzroči obdelavo na tisoče žetonov, če seja vsebuje veščine, orodja, informacije o projektu ali prejšnjo zgodovino.
Pri preizkušanju surove porabe žetonov priporočamo, da začnete čisto sejo brez dodatnega konteksta.
Hvala za vaše razumevanje in nadaljnjo podporo.