Zakaj lahko pošiljanje samega sporočila »Hi« še vedno porabi na tisoče žetonov

admin

Uvod

Nedavno so nekateri uporabniki opazili nenavadno situacijo:

»Poslal sem samo ‘Hi’, zakaj je porabilo več kot 10.000 žetonov?«

Na prvi pogled se to morda zdi nepričakovano. Sporočilo z dvema znakoma bi moralo zahtevati le nekaj žetonov, kajne?

Odgovor je: model ne obdeluje samo vašega vidnega sporočila.

Sodobni pomočniki z umetno inteligenco, zlasti agenti za programiranje, kot so Codex, Claude Code in druga orodja UI, ki temeljijo na IDE-jih, skupaj z vašim sporočilom pošljejo veliko več informacij, da modelu pomagajo razumeti nalogo in podati boljše odgovore.

Vaše sporočilo je le majhen del konteksta

Ko pošljete:

Hi

je dejanska zahteva, poslana modelu UI, lahko videti bolj takole:

Sistemska navodila
+
Uporabniške nastavitve
+
Nastavljene veščine
+
Razpoložljiva orodja
+
Informacije o projektu
+
Kontekst datotek
+
Prejšnja zgodovina pogovora
+
Vaše sporočilo: "Hi"

Skupna velikost vseh teh komponent je dejanski kontekst, ki ga model obdela.

Zato lahko tudi zelo kratko sporočilo porabi precejšnje število žetonov.

Kaj lahko poveča porabo konteksta?

1. Nastavljene veščine

Če ste omogočili prilagojene veščine ali zmogljivosti UI, je treba njihova navodila naložiti v kontekst modela.

Na primer:

Navodila za veščino A: 2.000 žetonov
Navodila za veščino B: 3.000 žetonov
Navodila za veščino C: 1.500 žetonov

Še preden karkoli vtipkate, lahko ta navodila že zasedejo več tisoč žetonov.

2. Orodja in zmožnosti agentov

Pomočniki UI za programiranje običajno ponujajo orodja, kot so:

Branje datotek
Iskanje kode
Izvajanje ukazov v terminalu
Operacije Git
Dostop do brskalnika
Zunanje integracije

Definicije in navodila za uporabo teh orodij prav tako porabljajo prostor v kontekstu.

3. Projektni kontekst in kontekst datotek

Pri delu znotraj IDE-ja ali repozitorija kode lahko odjemalec UI samodejno vključi:

Strukturo projekta
Odprte datoteke
Izseke kode
Odvisnosti
Konfiguracijske datoteke

To UI omogoča razumevanje vašega projekta, vendar tudi poveča porabo konteksta.

4. Prejšnja zgodovina pogovora

Če nadaljujete obstoječ pogovor, so prejšnja sporočila običajno znova vključena, da model razume kontekst.

Na primer:

Prejšnja razprava: 12.000 žetonov

Novo sporočilo:
Hi

Nova zahteva lahko še vedno vsebuje prejšnjih 12.000 žetonov.

Kako preizkusiti najmanjšo porabo žetonov

Če želite izmeriti porabo žetonov pri preprostem sporočilu, poskusite naslednje:

Ustvarite popolnoma nov pogovor.
Onemogočite prilagojene veščine.
Ne pripenjajte datotek.
Ne odpirajte projektnega delovnega prostora.
Pošljite samo:

Hi

To bo pokazalo približno najmanjšo porabo konteksta.

Kontekstno okno v primerjavi s porabo žetonov

Pomembno je razlikovati med:

Kontekstno okno

Največja količina informacij, ki jih model lahko obdela v eni zahtevi.

Primer:

Kontekstno okno 1M žetonov

pomeni, da lahko model teoretično obdela do 1 milijona žetonov.

Poraba žetonov

Dejanska količina žetonov, vključenih v določeno zahtevo.

Primer:

Uporabniško sporočilo:
Hi

Dejanska zahteva:
Sistemska navodila + orodja + zgodovina + "Hi"

Skupaj:
15.000 žetonov

Veliko kontekstno okno ne pomeni, da bo vsaka zahteva porabila samo dolžino vašega sporočila.

Zaključek

Visoka poraba žetonov zaradi kratkega sporočila ne pomeni nujno težave z modelom ali API-jem.

V okoljih z agenti UI skupni kontekst vključuje številne skrite komponente, potrebne za inteligentno delovanje. Preprost »Hi« lahko še vedno povzroči obdelavo na tisoče žetonov, če seja vsebuje veščine, orodja, informacije o projektu ali prejšnjo zgodovino.

Pri preizkušanju surove porabe žetonov priporočamo, da začnete čisto sejo brez dodatnega konteksta.

Hvala za vaše razumevanje in nadaljnjo podporo.

NodeBB