5 اصطلاح هوش مصنوعی که باید بلد باشید.

واقعیت این است که بخش زیادی از گفت‌وگوهای مربوط به هوش مصنوعی، یا به تکرار تعریف‌های ساده و کتابی محدود می‌شوند، یا بدون درک دقیق مفاهیم اصلی پیش می‌روند. در چنین فضایی، اصطلاحاتی مانند مدل زبانی بزرگ، شبکه عصبی، توکن یا Context Window زیاد استفاده می‌شوند، اما معنای فنی و کاربرد واقعی آن‌ها برای بسیاری از افراد روشن نیست.

برای درک هوش مصنوعی لازم نیست وارد جزئیات پیچیده ریاضی یا معماری مدل‌ها شوید. شناخت چند مفهوم پایه کافی است تا بتوانید عملکرد ابزارهای هوش مصنوعی را بهتر تحلیل کنید، محدودیت‌های آن‌ها را بشناسید و هنگام استفاده از این فناوری تصمیم‌های دقیق‌تری بگیرید.

در ادامه، پنج مفهوم کلیدی را بررسی می‌کنیم که درک آن‌ها برای فعالان حوزه فناوری، کسب‌وکار و آموزش ضروری است. هدف فقط ارائه تعریف نیست؛ بلکه قرار است ببینیم هر مفهوم چگونه بر نحوه عملکرد مدل‌های هوش مصنوعی و کیفیت خروجی آن‌ها تأثیر می‌گذارد.

در ادامه میخوانیم:

• توکن ها (Tokens)
• Context Window
• Temperature
• توهم هوش مصنوعی (Hallucination)
• RAG
• چرا شناخت این پنج مفهوم در استفاده از AI مهم است؟

۱. توکن ها (Tokens)

اولین نکته‌ای که باید درباره هوش مصنوعی به خاطر بسپارید این است که مدل‌های AI کلمات را نمی‌خوانند. حتی حروف را هم نمی‌خوانند؛ آن‌ها متن را به‌شکل توکن پردازش می‌کنند.

توکن چیست و مدل های هوش مصنوعی چگونه متن را پردازش می کنند؟

تصور کنید در حال خواندن یک کتاب هستید، اما به‌جای این‌که هر کلمه را به‌صورت کامل ببینید، متن در قالب تکه‌های کوچک‌تری به شما نمایش داده شود. گاهی این تکه یک کلمه کامل مانند cat است، گاهی بخشی از یک کلمه مانند un یا tion و گاهی نیز یک علامت نگارشی.

هرکدام از این تکه‌ها یک توکن (Token) محسوب می‌شوند.

برای مثال، جمله زیر را در نظر بگیرید:

من پیتزا دوست دارم.

این جمله ممکن است به سه توکن تقسیم شود:

• من
• پیتزا
• دوست
• دارم
• .

مدل هوش مصنوعی جمله را مانند انسان و براساس معنای مستقیم کلمات نمی‌خواند. ابتدا متن را به توکن تبدیل می‌کند و سپس ارتباط میان این توکن‌ها را بررسی می‌کند تا ادامه متن یا پاسخ مناسب را تولید کند.

چرا تعداد توکن ها در ChatGPT و سایر مدل های AI مهم است؟

محصولاتی مانند ChatGPT , Claude و Gemini در پشت صحنه تعداد توکن‌های ورودی و خروجی را محاسبه می‌کنند. هرچه متن ارسالی شما طولانی‌تر باشد، مدل باید توکن‌های بیشتری را پردازش کند. پاسخ‌های طولانی‌تر نیز به‌معنای تولید توکن‌های بیشتر و مصرف منابع محاسباتی بالاتر هستند.

این موضوع به‌ویژه هنگام استفاده از API اهمیت پیدا می‌کند، زیرا هزینه استفاده از بیشتر مدل‌های هوش مصنوعی براساس تعداد توکن‌های ورودی و خروجی محاسبه می‌شود. بنابراین، دو درخواست با معنای مشابه ممکن است فقط به‌دلیل تفاوت در طول متن، هزینه پردازشی متفاوتی داشته باشند.

با سرویس AI لیارا، به مدل‌های Open Source از طریق API اختصاصی دسترسی داشته باشید.
✅ راه‌اندازی سریع ✅ API اختصاصی ✅ سازگار با مدل‌های Open Source
خرید سرویس هوش مصنوعی

ارتباط توکن با پنجره زمینه (Context Window)

پنجره زمینه (Context Window) مشخص می‌کند که یک مدل چه تعداد توکن را می‌تواند در یک نوبت پردازش و در جریان مکالمه نگه‌داری کند.

برخی مدل‌های قدیمی ظرفیت محدودی در حدود ۴۰۰۰ توکن داشتند، اما مدل‌های جدیدتر می‌توانند صدها هزار یا حتی بیش از یک میلیون توکن را در یک پنجره زمینه پردازش کنند. ظرفیت بیشتر به مدل اجازه می‌دهد مکالمه‌های طولانی‌تر، اسناد بزرگ‌تر یا چندین فایل را به‌صورت هم‌زمان بررسی کند.

البته پنجره زمینه را نباید دقیقاً معادل حافظه انسانی در نظر گرفت. مدل فقط به اطلاعاتی دسترسی دارد که در محدوده توکن‌های موجود در همان پنجره قرار گرفته‌اند.

چرا هوش مصنوعی در مکالمه های طولانی اطلاعات را فراموش می کند؟

وقتی تعداد توکن‌های یک مکالمه از ظرفیت پنجره زمینه بیشتر شود، مدل دیگر نمی‌تواند تمام بخش‌های گفت‌وگو را به‌طور هم‌زمان در اختیار داشته باشد. در چنین شرایطی، معمولاً قدیمی‌ترین قسمت‌های مکالمه از پنجره خارج می‌شوند.

به همین دلیل ممکن است AI نکته‌ای را که در ابتدای یک گفت‌وگوی طولانی مطرح کرده‌اید، نادیده بگیرد یا پاسخی ارائه دهد که با دستورهای قبلی هماهنگ نباشد. این اتفاق الزاماً به‌معنای خراب شدن مدل نیست؛ اطلاعات موردنظر احتمالاً دیگر در محدوده قابل‌پردازش آن قرار ندارد.

توکن‌ها را می‌توان واحدهای پایه زبان در مدل‌های هوش مصنوعی دانست. با شناخت آن‌ها بهتر متوجه می‌شوید چرا نحوه نوشتن پرامپت بر کیفیت پاسخ اثر می‌گذارد، مدل‌ها چرا در مکالمه‌های طولانی بخشی از اطلاعات را از دست می‌دهند و هزینه استفاده از API چگونه محاسبه می‌شود.

۲. Context Window

تصور کنید با کسی صحبت می‌کنید که فقط چند دقیقه اخیر مکالمه را به خاطر می‌سپارد. هر چیزی که پیش از آن گفته شده باشد، دیگر در حافظه‌اش نیست.

Context Window در مدل‌های AI تقریباً چنین نقشی دارد.

Context Window چیست و چه اطلاعاتی را شامل می شود؟

Context Window مجموع اطلاعاتی است که یک مدل AI می‌تواند در یک لحظه ببیند و هنگام تولید پاسخ در نظر بگیرد. ظرفیت آن با تعداد Token اندازه‌گیری می‌شود و فقط به آخرین پیام شما محدود نیست.

دستورهایی که برای مدل نوشته‌اید، تاریخچه مکالمه، فایل‌ها و اسناد ارسال‌شده و حتی پاسخ‌های قبلی خود مدل، همگی بخشی از این فضا را اشغال می‌کنند.

برای درک بهتر، Context Window را مانند یک تخته سفید در نظر بگیرید. تا زمانی که روی تخته فضای خالی وجود داشته باشد، می‌توان اطلاعات جدیدی به آن اضافه کرد. اما وقتی تخته پر شود، برای نوشتن اطلاعات تازه باید بخشی از نوشته‌های قبلی پاک شود.

تفاوت Context Window کوچک و بزرگ چیست؟

مدلی با Context Window کوچک، مثلاً ۴۰۰۰ Token، فقط می‌تواند چند صفحه متن را هم‌زمان بررسی کند. اگر سندی طولانی‌تر در اختیار آن قرار دهید، مدل نمی‌تواند تمام محتوای آن را یک‌جا در نظر بگیرد و باید متن در بخش‌های کوچک‌تری پردازش شود.

در مقابل، مدلی با Context Window حدود ۲۰۰ هزار Token می‌تواند حجم بسیار بیشتری از اطلاعات را در یک نوبت پردازش کند. چنین ظرفیتی این امکان را می‌دهد که یک کتاب کامل یا مجموعه بزرگی از اسناد را در اختیار مدل قرار دهید و درباره بخش‌های مختلف آن سؤال بپرسید.

به همین دلیل، افزایش ظرفیت Context Window فقط یک ارتقای عددی نیست. هرچه این ظرفیت بیشتر باشد، مدل می‌تواند در کارهایی مانند تحلیل اسناد طولانی، بررسی کدهای بزرگ و ادامه مکالمه‌های مفصل عملکرد بهتری داشته باشد.

چرا AI در مکالمه های طولانی اطلاعات قبلی را نادیده می گیرد؟

هنگام خلاصه‌سازی یک سند طولانی، تحلیل داده‌ها یا ادامه یک گفت‌وگوی مفصل باید ظرفیت Context Window را در نظر بگیرید. اگر حجم اطلاعات از این محدوده بیشتر شود، ممکن است بخش‌های ابتدایی مکالمه دیگر در دسترس مدل نباشند.

در نتیجه، مدل ممکن است دستورهای قبلی را نادیده بگیرد، بخشی از اطلاعات را فراموش کند یا پاسخی بدهد که با ابتدای گفت‌وگو هماهنگ نیست.

این رفتار یک باگ نیست. فضای قابل‌استفاده مدل پر شده و برای پردازش اطلاعات جدید، بخشی از محتوای قدیمی از Context Window خارج شده است.

۳. Temperature

Temperature (دما) یکی از آن مفاهیمی است که اگر یک‌بار درست توضیح داده شود، معمولاً دیگر فراموش نمی‌شود.

وقتی از یک مدل AI می‌خواهید متنی تولید کند، تنظیمی به نام Temperature وجود دارد که مشخص می‌کند خروجی مدل تا چه اندازه قابل‌پیش‌بینی یا خلاقانه باشد.

Temperature چگونه روی خروجی مدل اثر می گذارد؟

هر بار که مدل می‌خواهد Token بعدی را انتخاب کند، چند گزینه با احتمال‌های متفاوت پیش رو دارد. Temperature مشخص می‌کند مدل هنگام این انتخاب تا چه اندازه قابل‌پیش‌بینی یا متنوع عمل کند.

در Temperature پایین، یعنی مقداری نزدیک به صفر، مدل معمولاً گزینه‌های رایج‌تر را انتخاب می‌کند. پاسخ‌ها در این حالت باثبات‌تر و دقیق‌ترند، اما ممکن است تا حدی تکراری باشند؛ شبیه کسی که برای موقعیت‌های مختلف همیشه از یک قالب ایمیل ثابت استفاده می‌کند.

با افزایش Temperature و نزدیک شدن آن به ۱ یا بیشتر، تنوع انتخاب‌های مدل بیشتر می‌شود. در نتیجه، پاسخ‌ها می‌توانند خلاقانه‌تر و غیرمنتظره‌تر باشند، اما احتمال تولید خروجی‌های نامرتبط یا کم‌دقت نیز افزایش پیدا می‌کند.

تفاوت Temperature پایین و بالا با یک مثال ساده

فرض کنید از مدل بخواهید جمله زیر را کامل کند:

• “باران که شروع شد، …”

در Temperature پایین، مدل احتمالاً می‌گوید:

• “چترم را باز کردم و به راه افتادم.“

اما در Temperature بالا ممکن است بنویسد:

• “شهر زیر صدای باران آرام گرفت و خیابان‌ها شروع به نفس کشیدن کردند.”

پاسخ اول مستقیم، منطقی و قابل‌پیش‌بینی است؛ پاسخ دوم تصویرسازی و خلاقیت بیشتری دارد، اما از معنای ساده و معمول جمله فاصله می‌گیرد.

چه زمانی Temperature را کم یا زیاد کنیم؟

مقدار Temperature را باید براساس نوع کاری که از مدل می‌خواهید تنظیم کنید.

برای کارهایی که دقت در آن‌ها مهم است، مثل خلاصه‌سازی، کدنویسی، استخراج اطلاعات یا پاسخ‌دادن به سؤال‌های مشخص، Temperature پایین مناسب‌تر است. در این حالت، مدل پاسخ‌های باثبات‌تر و قابل‌پیش‌بینی‌تری تولید می‌کند.

اما برای کارهای خلاقانه، مثل داستان‌نویسی، ایده‌پردازی، طراحی سناریو یا تولید متن تبلیغاتی، Temperature بالاتر می‌تواند خروجی متنوع‌تر و خلاقانه‌تری ایجاد کند.

تنظیم Temperature در ChatGPT و API

بیشتر ابزارهای عمومی مانند ChatGPT امکان تغییر مستقیم Temperature را در اختیار کاربر قرار نمی‌دهند و این مقدار را در محدوده‌ای متعادل تنظیم می‌کنند.

اما هنگام کار با API هوش مصنوعی یا ابزارهای توسعه، معمولاً با این تنظیم روبه‌رو خواهید شد. در آنجا کافی است مشخص کنید به پاسخی دقیق و قابل‌پیش‌بینی نیاز دارید یا خروجی‌ای آزادتر و خلاقانه‌تر.

۴. توهم هوش مصنوعی (Hallucination)

Hallucination اصطلاح آشنایی است، اما مهم‌تر از تعریف آن، این است که بدانیم چرا رخ می‌دهد.

Hallucination زمانی رخ می‌دهد که مدل AI اطلاعات نادرست یا ساختگی تولید می‌کند و آن‌ها را با لحنی مطمئن، شبیه یک پاسخ واقعی، ارائه می‌دهد.

Hallucination دقیقا چه شکلی دارد؟

فرض کنید درباره یک کتاب از مدل سؤال می‌کنید. مدل نام کتاب، نویسنده، سال انتشار و حتی خلاصه داستان را در اختیار شما قرار می‌دهد، اما تمام این اطلاعات ساختگی‌اند و چنین کتابی اصلاً وجود ندارد.

بااین‌حال، پاسخ طوری نوشته شده است که انگار اطلاعات مستقیماً از یک منبع معتبر مانند Wikipedia برداشته شده‌اند.

چرا مدل های AI اطلاعات نادرست تولید می کنند؟

نکته‌ای که اغلب نادیده گرفته می‌شود این است که مدل‌های زبانی، پایگاه داده نیستند. آن‌ها لزوماً برای پاسخ‌دادن به یک سؤال، اطلاعات را در منبع مشخصی جست‌وجو نمی‌کنند.

مدل براساس الگوهایی که هنگام آموزش آموخته است، محتمل‌ترین توکن بعدی را پیش‌بینی می‌کند. به بیان ساده، یک مدل زبانی را می‌توان نوعی Autocomplete در مقیاسی بسیار بزرگ دانست.

به همین دلیل، وقتی مدل پاسخ دقیق یک سؤال را نمی‌داند، همیشه نمی‌گوید «نمی‌دانم». ممکن است پاسخی تولید کند که از نظر لحن و ساختار درست به نظر برسد، زیرا وظیفه اصلی آن ساختن متنی محتمل و منسجم است، نه تضمین صحت تمام اطلاعات.

مشکل اصلی Hallucination چیست؟

مسئله فقط این نیست که مدل‌های AI اشتباه می‌کنند؛ همه ابزارها ممکن است خطا داشته باشند.

خطر اصلی این است که مدل پاسخ اشتباه را با همان لحن مطمئنی ارائه می‌دهد که هنگام پاسخ درست استفاده می‌کند. مدل معمولاً میان این دو حالت تفاوت ظاهری مشخصی ایجاد نمی‌کند و همین موضوع تشخیص خطا را دشوارتر می‌سازد.

چه اطلاعاتی را باید حتما بررسی کرد؟

نباید اطلاعات تولیدشده توسط AI را بدون بررسی پذیرفت؛ به‌ویژه زمانی که پاسخ شامل آمار، واقعیت‌های تاریخی، اطلاعات پزشکی، مسائل حقوقی یا هر موضوع دیگری است که اشتباه در آن پیامد واقعی دارد.

بهتر است از مدل به‌عنوان نقطه شروع استفاده کنید، نه منبع نهایی. پاسخ را بگیرید، منابع اصلی را پیدا کنید و اطلاعات مهم را مستقلاً بررسی کنید.

شناخت Hallucination به این معنا نیست که استفاده از AI را کنار بگذارید. کسانی که این محدودیت را می‌شناسند، فقط با دقت بیشتری از مدل استفاده می‌کنند و می‌دانند کدام پاسخ‌ها به اعتبارسنجی نیاز دارند.

۵. RAG

در میان این پنج مفهوم، RAG بیشتر از بقیه اشتباه فهمیده می‌شود. اما کافی است سازوکار آن را بشناسید تا متوجه شوید بسیاری از محصولات و قابلیت‌های کاربردی هوش مصنوعی بر همین روش بنا شده‌اند.

RAG مخفف Retrieval Augmented Generation است؛ روشی نسبتاً ساده که به مدل‌های AI کمک می‌کند براساس اطلاعاتی خارج از داده‌های آموزشی خود پاسخ دهند.

بهترین انتخاب RAG برای پروژه‌های AI را در مقاله زیر مطالعه کنید.
مقایسه RAG، عامل های هوش مصنوعی و Agentic RAG

RAG چه کاربردی دارد؟

مدل‌های AI فقط به اطلاعاتی دسترسی دارند که در زمان آموزش دیده‌اند. بنابراین به‌طور پیش‌فرض چیزی از اسناد داخلی شرکت شما، اتفاقات اخیر یا فایل PDF تازه‌ای که بارگذاری کرده‌اید نمی‌دانند.

پس ابزارهایی که امکان “گفت‌وگو با PDF” یا “پرسیدن سؤال از یک سند” را فراهم می‌کنند، چطور به محتوای همان فایل پاسخ می‌دهند؟

اینجاست که RAG وارد عمل می‌شود.

اسناد چگونه برای استفاده در RAG آماده می شوند؟

وقتی سندی را بارگذاری می‌کنید، سیستم معمولاً تمام آن را یک‌جا در اختیار مدل قرار نمی‌دهد. ابتدا سند به بخش‌های کوچک‌تری تقسیم می‌شود و سپس این بخش‌ها در نوعی پایگاه داده به نام دیتابیس برداری (Vector Database) ذخیره می‌شوند.

Vector Database به‌جای این‌که فقط به تطابق دقیق کلمات کلیدی توجه کند، ارتباط معنایی میان متن‌ها را نیز در نظر می‌گیرد. به همین دلیل، می‌تواند بخش‌هایی را پیدا کند که از نظر مفهوم به سؤال شما نزدیک‌اند، حتی اگر دقیقاً از همان واژه‌ها استفاده نکرده باشند.

RAG چگونه به سؤال کاربر پاسخ می دهد؟

وقتی سؤالی مطرح می‌کنید، سیستم ابتدا در Vector Database جست‌وجو می‌کند و مرتبط‌ترین بخش‌های سند را پیدا می‌کند. سپس این بخش‌ها را همراه با سؤال شما در اختیار مدل زبانی قرار می‌دهد و از آن می‌خواهد پاسخ را براساس همین اطلاعات تولید کند.

در عمل، فرایند RAG از سه مرحله تشکیل می‌شود: پیدا کردن اطلاعات مرتبط، قراردادن آن‌ها در اختیار مدل و تولید پاسخ براساس همان اطلاعات.

به همین سادگی: Retrieval، سپس Generation.

چرا RAG در محصولات هوش مصنوعی اهمیت دارد؟

RAG زیرساخت بسیاری از محصولات کاربردی هوش مصنوعی است؛ از ربات‌های پشتیبانی که با سیاست‌ها و مستندات یک شرکت آشنا هستند گرفته تا دستیارهایی که به پرسش‌های مربوط به قراردادها پاسخ می‌دهند یا مقاله‌های پژوهشی را خلاصه می‌کنند.

بدون RAG، مدل فقط به اطلاعاتی متکی است که هنگام آموزش آموخته است. با استفاده از این روش، می‌توان اطلاعات جدید، اختصاصی یا داخلی را نیز در زمان پاسخ‌گویی در اختیار آن قرار داد.

آیا مدل با RAG اطلاعات جدیدی یاد می گیرد؟

وقتی یک مدل AI می‌تواند درباره اسناد شما پاسخ دهد، به این معنا نیست که آن اطلاعات را یاد گرفته یا بخشی از دانش دائمی آن شده‌اند.

در واقع، سیستم یک جست‌وجوی هوشمند انجام می‌دهد، بخش‌های مرتبط را پیدا می‌کند و آن‌ها را به‌عنوان Context در اختیار مدل قرار می‌دهد. خود مدل همان مدل قبلی است؛ فقط اطلاعاتی که هنگام تولید پاسخ می‌بیند تغییر کرده‌اند.

نحوه‌ی تبدیل داده‌ها به بردار و استفاده از امبدینگ‌ها در پروژه‌های هوش مصنوعی 
قابلیت Embeddings (بردارسازی)

چرا شناخت این پنج مفهوم در استفاده از AI مهم است؟

AI دیگر یک ابزار حاشیه‌ای نیست و هر روز در بخش‌های بیشتری از کار، آموزش و زندگی روزمره حضور پیدا می‌کند. در سال‌های آینده، تفاوت میان کسی که فقط از ابزارهای AI استفاده می‌کند و کسی که درک اولیه‌ای از سازوکار آن‌ها دارد، بیشتر دیده خواهد شد.

برای رسیدن به این درک، لازم نیست مهندس باشید یا کدنویسی بدانید. آشنایی با Token کمک می‌کند Promptهای دقیق‌تر و مؤثرتری بنویسید. وقتی Context Window را بشناسید، بهتر متوجه می‌شوید چرا مدل در یک گفت‌وگوی طولانی بخشی از اطلاعات قبلی را نادیده می‌گیرد یا پاسخ‌های ناهماهنگ می‌دهد. Temperature نیز نشان می‌دهد چرا بعضی خروجی‌ها دقیق و قابل‌پیش‌بینی‌اند و بعضی دیگر خلاق‌تر و غیرمنتظره‌تر.

شناخت Hallucination باعث می‌شود پاسخ‌های مدل را فقط به‌دلیل لحن مطمئن آن‌ها درست فرض نکنید. RAG هم توضیح می‌دهد که یک محصول AI چگونه می‌تواند براساس فایل‌ها، اسناد یا داده‌های داخلی شما پاسخ دهد، بدون این‌که آن اطلاعات واقعاً بخشی از دانش دائمی مدل شده باشند.

در نهایت، با پنج مفهوم نسبتاً ساده روبه‌رو هستیم؛ اما همین مفاهیم کمک می‌کنند هنگام کار با AI بدانید چه اتفاقی در حال رخ دادن است، محدودیت‌های مدل را بهتر تشخیص دهید و ابزار مناسب‌تری برای هر کار انتخاب کنید.

تفاوت میان استفاده معمولی و استفاده آگاهانه از AI، از همین شناخت اولیه شروع می‌شود.