"ஹை" மட்டும் அனுப்பினாலும் ஏன் ஆயிரக்கணக்கான டோக்கன்கள் பயன்படுத்தப்படலாம்

[admin]

<h2><strong>அறிமுகம்</strong></h2>
<p></p>
<p>சமீபத்தில், சில பயனர்கள் ஒரு விசித்திரமான நிலையை கவனித்தனர்:</p>
<blockquote>
<p>"நான் ‘ஹை’ மட்டும் அனுப்பினேன்; அது ஏன் 10,000+ டோக்கன்களை பயன்படுத்தியது?"</p>
</blockquote>
<p>முதல் பார்வைக்கு, இது எதிர்பாராததாக தோன்றலாம். இரண்டு எழுத்துகளைக் கொண்ட ஒரு செய்திக்கு சில டோக்கன்கள் மட்டுமே போதுமானதாக இருக்க வேண்டும், இல்லையா?</p>
<p>பதில் இதுதான்: <strong>மாதிரி உங்கள் திரையில் தெரியும் செய்தியை மட்டும் செயலாக்குவதில்லை.</strong></p>
<p>Codex, Claude Code மற்றும் பிற IDE-அடிப்படையிலான AI கருவிகள் போன்ற நவீன AI உதவியாளர்கள், பணியை நன்றாகப் புரிந்துகொண்டு சிறந்த பதில்களை வழங்குவதற்காக, உங்கள் செய்தியுடன் சேர்த்து இன்னும் பல தகவல்களையும் மாதிரிக்கு அனுப்புகின்றனர்.</p>
<hr>
<p></p>
<h2>உங்கள் செய்தி, மொத்த சூழலின் ஒரு சிறிய பகுதி மட்டுமே</h2>
<p>நீங்கள் இதை அனுப்பும் போது:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>Hi</code></pre>
<p>AI மாதிரிக்கு அனுப்பப்படும் உண்மையான கோரிக்கை இதுபோல இருக்கக்கூடும்:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>System Instructions
+
User Settings
+
Configured Skills
+
Available Tools
+
Project Information
+
File Context
+
Previous Conversation History
+
Your Message: "Hi"</code></pre>
<p>இந்த அனைத்து பகுதிகளின் மொத்த அளவுதான் மாதிரி செயலாக்கும் உண்மையான சூழல் ஆகும்.</p>
<p>அதனால், மிகவும் குறுகிய செய்தி கூட கணிசமான அளவிலான டோக்கன்களை பயன்படுத்தக்கூடும்.</p>
<hr>
<h2>சூழல் பயன்பாட்டை அதிகரிக்கக்கூடியவை என்ன?</h2>
<h3>1. அமைக்கப்பட்ட திறன்கள்</h3>
<p>நீங்கள் தனிப்பயன் திறன்கள் அல்லது AI திறன்களை இயக்கியிருந்தால், அவற்றின் வழிமுறைகள் மாதிரியின் சூழலில் ஏற்றப்பட வேண்டும்.</p>
<p>எடுத்துக்காட்டாக:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>Skill A instructions: 2,000 tokens
Skill B instructions: 3,000 tokens
Skill C instructions: 1,500 tokens</code></pre>
<p>நீங்கள் எதையும் தட்டச்சு செய்வதற்குமுன்பே, இந்த வழிமுறைகள் பல ஆயிரம் டோக்கன்களை ஏற்கனவே எடுத்துக்கொண்டிருக்கலாம்.</p>
<hr>
<h3>2. கருவிகள் மற்றும் ஏஜென்ட் திறன்கள்</h3>
<p>AI குறியீட்டு உதவியாளர்கள் பொதுவாக பின்வருபவை போன்ற கருவிகளை வழங்குகின்றனர்:</p>
<ul>
<li><p>கோப்புகளை வாசித்தல்</p></li>
<li><p>குறியீடு தேடல்</p></li>
<li><p>டெர்மினல் செயல்படுத்தல்</p></li>
<li><p>Git செயல்பாடுகள்</p></li>
<li><p>உலாவி அணுகல்</p></li>
<li><p>வெளிப்புற ஒருங்கிணைப்புகள்</p></li>
</ul>
<p>இந்த கருவிகளின் வரையறைகளும் பயன்பாட்டு வழிமுறைகளும் கூட சூழல் இடத்தை பயன்படுத்துகின்றன.</p>
<hr>
<h3>3. திட்டம் மற்றும் கோப்பு சூழல்</h3>
<p>நீங்கள் IDE அல்லது குறியீட்டு சேமிப்பகத்தின் உள்ளே வேலை செய்யும் போது, AI கிளையண்ட் தானாகவே பின்வருபவற்றைச் சேர்க்கக்கூடும்:</p>
<ul>
<li><p>திட்ட அமைப்பு</p></li>
<li><p>திறந்த கோப்புகள்</p></li>
<li><p>குறியீட்டு துண்டுகள்</p></li>
<li><p>இணைப்புகள்</p></li>
<li><p>கட்டமைப்பு கோப்புகள்</p></li>
</ul>
<p>இது உங்கள் திட்டத்தை AI புரிந்துகொள்ள உதவுகிறது; ஆனால் இது சூழல் பயன்பாட்டையும் அதிகரிக்கிறது.</p>
<hr>
<h3>4. முந்தைய உரையாடல் வரலாறு</h3>
<p>நீங்கள் ஏற்கனவே உள்ள உரையாடலைத் தொடர்ந்து செயல்பட்டால், மாதிரி சூழலைப் புரிந்துகொள்ள முந்தைய செய்திகள் பொதுவாக மீண்டும் சேர்க்கப்படும்.</p>
<p>எடுத்துக்காட்டாக:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>Previous discussion: 12,000 tokens

New message:
Hi</code></pre>
<p>புதிய கோரிக்கையிலும் முந்தைய 12,000 டோக்கன்கள் இன்னும் இருக்கக்கூடும்.</p>
<hr>
<h2>குறைந்தபட்ச டோக்கன் பயன்பாட்டை எப்படி சோதிப்பது</h2>
<p>ஒரு எளிய செய்தியின் டோக்கன் பயன்பாட்டை அளவிட விரும்பினால், பின்வருவனவற்றை முயற்சிக்கவும்:</p>
<ol>
<li><p>முழுமையாக புதிய உரையாடலை உருவாக்கவும்.</p></li>
<li><p>தனிப்பயன் திறன்களை முடக்கவும்.</p></li>
<li><p>கோப்புகளை இணைக்க வேண்டாம்.</p></li>
<li><p>திட்ட பணிப்பரப்பைத் திறக்க வேண்டாம்.</p></li>
<li><p>இதை மட்டும் அனுப்பவும்:</p></li>
</ol>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>Hi</code></pre>
<p>இது சுமார் குறைந்தபட்ச சூழல் பயன்பாட்டைக் காட்டும்.</p>
<hr>
<h2>சூழல் சாளரம் vs டோக்கன் பயன்பாடு</h2>
<p>பின்வருவனவற்றுக்கிடையேயான வேறுபாட்டை புரிந்துகொள்வது முக்கியம்:</p>
<h3>சூழல் சாளரம்</h3>
<p>ஒரே கோரிக்கையில் ஒரு மாதிரி செயலாக்கக்கூடிய அதிகபட்ச தகவல் அளவு.</p>
<p>எடுத்துக்காட்டு:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>1M token context window</code></pre>
<p>அதாவது, கோட்பாட்டில் மாதிரி 1 மில்லியன் டோக்கன்கள் வரை கையாள முடியும்.</p>
<h3>டோக்கன் பயன்பாடு</h3>
<p>ஒரு குறிப்பிட்ட கோரிக்கையில் உண்மையில் சேர்க்கப்பட்டுள்ள டோக்கன்களின் அளவு.</p>
<p>எடுத்துக்காட்டு:</p>
<pre class="rounded-lg bg-slate-950 px-4 py-3 text-slate-100"><code>User message:
Hi

Actual request:
System instructions + tools + history + "Hi"

Total:
15,000 tokens</code></pre>
<p>ஒரு பெரிய சூழல் சாளரம் இருப்பதால், ஒவ்வொரு கோரிக்கையும் உங்கள் செய்தியின் நீளத்தை மட்டுமே பயன்படுத்தும் என்பதல்ல.</p>
<hr>
<h2>முடிவு</h2>
<p>குறுகிய செய்தியால் அதிக டோக்கன் பயன்பாடு ஏற்பட்டது என்பதால், மாதிரி அல்லது API-யில் பிரச்சினை உள்ளது என்று அவசியமாக அர்த்தமில்லை.</p>
<p>AI ஏஜென்ட் சூழல்களில், மொத்த சூழல் என்பது புத்திசாலித்தனமான செயல்பாட்டிற்குத் தேவையான பல மறைவு கூறுகளை உள்ளடக்குகிறது. ஒரு எளிய "ஹை" கூட, அமர்வில் திறன்கள், கருவிகள், திட்டத் தகவல் அல்லது முந்தைய வரலாறு இருந்தால், ஆயிரக்கணக்கான டோக்கன்கள் செயலாக்கப்படுவதற்குக் காரணமாக இருக்கலாம்.</p>
<p>அசல் டோக்கன் பயன்பாட்டைச் சோதிக்கும் போது, கூடுதல் சூழல் இல்லாத சுத்தமான அமர்வில் தொடங்குவது சிறந்தது என்று நாங்கள் பரிந்துரைக்கிறோம்.</p>
<p>உங்கள் புரிதலுக்கும் தொடர்ந்த ஆதரவுக்கும் நன்றி.</p>