Защо изпращането само на „Hi“ все пак може да изразходва хиляди токени

[admin]

<h2><strong>Въведение</strong></h2>
<p></p>
<p>Наскоро някои потребители забелязаха необичайна ситуация:</p>
<blockquote>
<p>„Изпратих само ‘Hi’, защо това изразходва над 10 000 токена?“</p>
<p></p>
</blockquote>
<p>На пръв поглед това може да изглежда неочаквано. Съобщение от два символа би трябвало да изисква само няколко токена, нали?</p>
<p>Отговорът е: <strong>моделът не обработва само вашето видимо съобщение.</strong></p>
<p>Съвременните AI асистенти, особено агентите за програмиране като Codex, Claude Code и други AI инструменти, базирани в IDE, изпращат много повече информация заедно с вашето съобщение, за да помогнат на модела да разбере задачата и да предостави по-добри отговори.</p>
<p></p>
<hr>
<p></p>
<h2>Вашето съобщение е само малка част от контекста</h2>
<p>Когато изпратите:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>Hi</code></pre>
<p></p>
<p>действителната заявка, изпратена към AI модела, може да изглежда по-скоро така:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>Системни инструкции
+
Потребителски настройки
+
Конфигурирани умения
+
Налични инструменти
+
Информация за проекта
+
Контекст на файловете
+
История на предишния разговор
+
Вашето съобщение: "Hi"</code></pre>
<p></p>
<p>Общият размер на всички тези компоненти е действителният контекст, обработван от модела.</p>
<p>Следователно дори много кратко съобщение може да изразходва значителен брой токени.</p>
<hr>
<p></p>
<h2><strong>Какво може да увеличи използването на контекст?</strong></h2>
<h3>1. Конфигурирани умения</h3>
<p></p>
<p>Ако сте активирали персонализирани умения или AI възможности, техните инструкции трябва да бъдат заредени в контекста на модела.</p>
<p></p>
<p>Например:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>Инструкции за умение A: 2,000 токена
Инструкции за умение B: 3,000 токена
Инструкции за умение 1,500 токена</code></pre>
<p>Още преди да въведете каквото и да е, тези инструкции вече могат да заемат няколко хиляди токена.</p>
<hr>
<p></p>
<h3>2. Инструменти и възможности на агента</h3>
<p></p>
<p>AI асистентите за програмиране обикновено предоставят инструменти като:</p>
<ul>
<li><p>Четене на файлове</p></li>
<li><p>Търсене в код</p></li>
<li><p>Изпълнение в терминал</p></li>
<li><p>Git операции</p></li>
<li><p>Достъп до браузър</p></li>
<li><p>Външни интеграции</p></li>
</ul>
<p>Дефинициите и инструкциите за използване на тези инструменти също заемат място в контекста.</p>
<hr>
<p></p>
<h3>3. Контекст на проекта и файловете</h3>
<p></p>
<p>Когато работите в IDE или в хранилище с код, AI клиентът може автоматично да включи:</p>
<ul>
<li><p>Структура на проекта</p></li>
<li><p>Отворени файлове</p></li>
<li><p>Фрагменти от код</p></li>
<li><p>Зависимости</p></li>
<li><p>Конфигурационни файлове</p></li>
</ul>
<p>Това позволява на AI да разбере вашия проект, но също така увеличава използването на контекст.</p>
<hr>
<p></p>
<h3>4. История на предишния разговор</h3>
<p></p>
<p>Ако продължите съществуващ разговор, предишните съобщения обикновено се включват отново, за да може моделът да разбере контекста.</p>
<p>Например:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>Предишна дискусия: 12,000 токена

Ново съобщение:
Hi</code></pre>
<p>Новата заявка все още може да съдържа предишните 12,000 токена.</p>
<hr>
<h2>Как да тествате минимално използване на токени</h2>
<p>Ако искате да измерите използването на токени при просто съобщение, опитайте следното:</p>
<ol>
<li><p>Създайте напълно нов разговор.</p></li>
<li><p>Деактивирайте персонализираните умения.</p></li>
<li><p>Не прикачвайте файлове.</p></li>
<li><p>Не отваряйте работно пространство на проект.</p></li>
<li><p>Изпратете само:</p></li>
</ol>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>Hi</code></pre>
<p>Това ще покаже приблизителното минимално използване на контекст.</p>
<hr>
<h2>Контекстен прозорец срещу използване на токени</h2>
<p>Важно е да се прави разлика между:</p>
<h3>Контекстен прозорец</h3>
<p>Максималното количество информация, което моделът може да обработи в една заявка.</p>
<p>Пример:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>Контекстен прозорец от 1M токена</code></pre>
<p>означава, че моделът теоретично може да обработва до 1 милион токена.</p>
<h3>Използване на токени</h3>
<p>Действителното количество токени, включени в конкретна заявка.</p>
<p>Пример:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>Потребителско съобщение:
Hi

Действителна заявка:
Системни инструкции + инструменти + история + "Hi"

Общо:
15,000 токена</code></pre>
<p>Голям контекстен прозорец не означава, че всяка заявка ще изразходва само дължината на вашето съобщение.</p>
<p></p>
<hr>
<p></p>
<h2><strong>Заключение</strong></h2>
<p></p>
<p>Високото използване на токени при кратко съобщение не означава непременно проблем с модела или API.</p>
<p></p>
<p>В средите с AI агенти общият контекст включва много скрити компоненти, необходими за интелигентна работа. Едно просто „Hi“ все пак може да доведе до обработка на хиляди токени, ако сесията съдържа умения, инструменти, информация за проекта или предишна история.</p>
<p></p>
<p>Препоръчваме да започнете чиста сесия без допълнителен контекст, когато тествате реалното използване на токени.</p>
<p></p>
<p>Благодарим ви за разбирането и продължаващата подкрепа.</p>