सिर्फ "Hi" भेजने पर भी हज़ारों टोकन क्यों खर्च हो सकते हैं

[admin]

<h2><strong>परिचय</strong></h2>
<p></p>
<p>हाल ही में, कुछ उपयोगकर्ताओं ने एक असामान्य स्थिति देखी:</p>
<blockquote>
<p>"मैंने सिर्फ ‘Hi’ भेजा, फिर 10,000+ टोकन कैसे खर्च हो गए?"</p>
</blockquote>
<p>पहली नज़र में, यह अप्रत्याशित लग सकता है। दो अक्षरों का संदेश तो केवल कुछ ही टोकन लेने चाहिए, सही है न?</p>
<p>उत्तर है: <strong>मॉडल केवल आपके दिखाई देने वाले संदेश को ही प्रोसेस नहीं करता।</strong></p>
<p>आधुनिक AI सहायक, विशेषकर कोडिंग एजेंट जैसे Codex, Claude Code, और अन्य IDE-आधारित AI टूल, मॉडल को कार्य समझने और बेहतर उत्तर देने में मदद करने के लिए आपके संदेश के साथ बहुत अधिक अतिरिक्त जानकारी भी भेजते हैं।</p>
<hr>
<p></p>
<h2>आपका संदेश संदर्भ का केवल एक छोटा हिस्सा होता है</h2>
<p>जब आप भेजते हैं:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>Hi</code></pre>
<p>तो AI मॉडल को भेजा गया वास्तविक अनुरोध कुछ इस तरह अधिक दिख सकता है:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>System Instructions
+
User Settings
+
Configured Skills
+
Available Tools
+
Project Information
+
File Context
+
Previous Conversation History
+
Your Message: "Hi"</code></pre>
<p>इन सभी घटकों का कुल आकार ही वह वास्तविक संदर्भ है जिसे मॉडल प्रोसेस करता है।</p>
<p>इसीलिए, बहुत छोटा संदेश भी उल्लेखनीय संख्या में टोकन खर्च कर सकता है।</p>
<hr>
<h2>कौन-सी चीज़ें संदर्भ उपयोग बढ़ा सकती हैं?</h2>
<h3>1. कॉन्फ़िगर की गई स्किल्स</h3>
<p>यदि आपने कस्टम स्किल्स या AI क्षमताएँ सक्षम की हैं, तो उनके निर्देश मॉडल संदर्भ में लोड करने पड़ते हैं।</p>
<p>उदाहरण के लिए:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>Skill A instructions: 2,000 tokens
Skill B instructions: 3,000 tokens
Skill C instructions: 1,500 tokens</code></pre>
<p>आपके कुछ भी टाइप करने से पहले ही, ये निर्देश कई हज़ार टोकन घेर सकते हैं।</p>
<hr>
<h3>2. टूल्स और एजेंट क्षमताएँ</h3>
<p>AI कोडिंग सहायक आम तौर पर ऐसे टूल प्रदान करते हैं:</p>
<ul>
<li><p>फ़ाइल पढ़ना</p></li>
<li><p>कोड खोज</p></li>
<li><p>टर्मिनल चलाना</p></li>
<li><p>Git ऑपरेशन्स</p></li>
<li><p>ब्राउज़र एक्सेस</p></li>
<li><p>बाहरी इंटीग्रेशन्स</p></li>
</ul>
<p>इन टूल्स की परिभाषाएँ और उपयोग निर्देश भी संदर्भ स्थान का उपभोग करते हैं।</p>
<hr>
<h3>3. प्रोजेक्ट और फ़ाइल संदर्भ</h3>
<p>जब आप IDE या कोड रिपॉज़िटरी के भीतर काम कर रहे होते हैं, तो AI क्लाइंट स्वचालित रूप से यह भी शामिल कर सकता है:</p>
<ul>
<li><p>प्रोजेक्ट संरचना</p></li>
<li><p>खुली हुई फ़ाइलें</p></li>
<li><p>कोड स्निपेट्स</p></li>
<li><p>डिपेंडेंसीज़</p></li>
<li><p>कॉन्फ़िगरेशन फ़ाइलें</p></li>
</ul>
<p>इससे AI आपके प्रोजेक्ट को बेहतर समझ पाता है, लेकिन इससे संदर्भ उपयोग भी बढ़ता है।</p>
<hr>
<h3>4. पिछला वार्तालाप इतिहास</h3>
<p>यदि आप किसी मौजूदा बातचीत को जारी रखते हैं, तो आमतौर पर पिछले संदेश फिर से शामिल किए जाते हैं ताकि मॉडल संदर्भ समझ सके।</p>
<p>उदाहरण के लिए:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>Previous discussion: 12,000 tokens

New message:
Hi</code></pre>
<p>नए अनुरोध में वे पिछले 12,000 टोकन अब भी शामिल हो सकते हैं।</p>
<hr>
<h2>न्यूनतम टोकन उपयोग कैसे जाँचें</h2>
<p>यदि आप किसी सरल संदेश का टोकन उपयोग मापना चाहते हैं, तो कृपया यह करें:</p>
<ol>
<li><p>पूरी तरह नई बातचीत शुरू करें।</p></li>
<li><p>कस्टम स्किल्स बंद करें।</p></li>
<li><p>फ़ाइलें संलग्न न करें।</p></li>
<li><p>प्रोजेक्ट वर्कस्पेस न खोलें।</p></li>
<li><p>केवल यह भेजें:</p></li>
</ol>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>Hi</code></pre>
<p>इससे लगभग न्यूनतम संदर्भ उपयोग दिखाई देगा।</p>
<hr>
<h2>Context Window बनाम Token Usage</h2>
<p>इन दोनों के बीच अंतर समझना महत्वपूर्ण है:</p>
<h3>Context Window</h3>
<p>जानकारी की वह अधिकतम मात्रा जिसे मॉडल एक अनुरोध में प्रोसेस कर सकता है।</p>
<p>उदाहरण:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>1M token context window</code></pre>
<p>इसका अर्थ है कि मॉडल सैद्धांतिक रूप से 10 लाख टोकन तक संभाल सकता है।</p>
<h3>Token Usage</h3>
<p>किसी विशेष अनुरोध में वास्तव में शामिल टोकनों की मात्रा।</p>
<p>उदाहरण:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>User message:
Hi

Actual request:
System instructions + tools + history + "Hi"

Total:
15,000 tokens</code></pre>
<p>बड़ी context window का अर्थ यह नहीं है कि हर अनुरोध केवल आपके संदेश की लंबाई के बराबर ही टोकन खर्च करेगा।</p>
<hr>
<h2>निष्कर्ष</h2>
<p>छोटे संदेश से अधिक टोकन उपयोग होना जरूरी नहीं कि मॉडल या API में किसी समस्या का संकेत हो।</p>
<p>AI एजेंट वातावरण में, कुल संदर्भ में बुद्धिमान संचालन के लिए आवश्यक कई छिपे हुए घटक शामिल होते हैं। यदि सत्र में स्किल्स, टूल्स, प्रोजेक्ट जानकारी, या पिछला इतिहास मौजूद है, तो एक साधारण "Hi" भी हज़ारों टोकन प्रोसेस होने का कारण बन सकता है।</p>
<p>कच्चे टोकन उपयोग का परीक्षण करते समय हम अतिरिक्त संदर्भ के बिना एक साफ़ सत्र से शुरुआत करने की सलाह देते हैं।</p>
<p>आपकी समझ और निरंतर समर्थन के लिए धन्यवाद।</p>