هوش مصنوعی جواب خوب می دهد؛ آیا این یعنی می فهمد؟

یک مدل ممکن است باگ پیدا کند، کد بنویسد یا پرسشی دشوار را خوب جواب دهد. این توانایی را نباید کوچک شمرد؛ اما از یک پاسخ خوب هم نمی توان نتیجه گرفت که مدل دنیا را مثل انسان تجربه می کند.

در گفت وگو های هوش مصنوعی، «فهمیدن» گاهی به روان حرف زدن اشاره دارد، گاهی به موفقیت در کاری مشخص و گاهی به آگاهی. این ها ادعا های متفاوتی اند و هر کدام به نوع دیگری از شاهد نیاز دارند. برای ارزیابی محصول، جدا نگه داشتنشان از بحث فلسفی مهم تر است: دقیقاً چه کاری را آزموده ایم و چه اختیاری بر پایه آن می دهیم؟

«فهمیدن» می تواند پنج معنای متفاوت داشته باشد

وقتی می گوییم «مدل می فهمد»، ممکن است منظورمان یکی از چند چیز کاملاً متفاوت باشد. برای روشن شدن بحث، این پنج سطح را از هم جدا کنیم:

برای رفتن از هر سطح به سطح بالاتر، به شواهد تازه نیاز داریم. اگر مدلی به پرسشی درست پاسخ داد، می توانیم بگوییم در آن پرسش عملکرد خوبی داشته است. اما این نتیجه به تنهایی نمی گوید مدل جهان را چطور بازنمایی می کند یا چیزی را تجربه می کند.

این قاعده از آن طرف هم صادق است: نامطمئن بودن درباره ی آگاهی، توانایی قابل مشاهده را پاک نمی کند. یک سامانه لازم نیست تجربه ای شبیه انسان داشته باشد تا درخواست ها را دسته بندی کند، سندی را پیدا کند یا برای یک مسئله ی واقعی راه حل پیشنهاد بدهد.

پاسخ روان را با فهم انسانی یکی نگیریم

در زندگی روزمره، وقتی کسی روان و سنجیده حرف می زند، معمولاً فرض می کنیم ذهن و تجربه ای پشت کلماتش هست. درباره ی آدم ها این فرض اغلب معقول است: طرف مقابل بدن دارد، در جهان زندگی می کند، گذشته و روابطی دارد و از پیامد کارهایش اثر می پذیرد.

گفت وگو با هوش مصنوعی بخشی از همان نشانه ها را دارد، اما نه لزوماً همان پشتوانه را. رابط کاربری شبیه گفت وگوی انسانی است؛ مدل از ضمیر «من» استفاده می کند، چیزی را به خاطر می سپارد یا با لحنی دوستانه جواب می دهد. طبیعی است که کاربر به آن شخصیت نسبت بدهد. ولی روان بودن متن، به تنهایی وجود یک زندگی درونی را ثابت نمی کند.

این که کاربران ممکن است پاسخ مدل را بیش از اندازه باور کنند، مسئله ای واقعی است. چارچوب مدیریت ریسک هوش مصنوعی مولد NIST هم خطا های ساختگی و هم تعامل انسان با هوش مصنوعی را از جنبه های مهم ریسک می داند. پاسخ خوش ساخت ممکن است درستی یا اختیار مدل را بیش از آنچه هست نشان دهد.

برای همین، در محصول بهتر است دقیق بگوییم سامانه چه کرده است. مثلاً:

• سند های تأییدشده ی مرتبط را پیدا کرده؛
• درخواست را با چند معیار مشخص سنجیده؛
• پیش نویسی برای پاسخ ساخته؛
• ابزار مشخصی را با ورودی های معلوم اجرا کرده؛
• در یک آزمون تعریف شده به نتیجه ی مشخصی رسیده؛
• یا به دلیل کمبود شواهد، درخواست را برای بررسی به کارشناس فرستاده است.

این جمله ها شاید از «دستیار موقعیت شما را فهمید» کم هیجان تر باشند، اما کاربر می تواند آن ها را بررسی کند و بهتر بفهمد سامانه تا کجا اختیار دارد.

یک پاسخ موفق چه چیزی را ثابت می کند؟

فرض کنید یک مدل کدنویسی باگی در اجرای هم زمان برنامه پیدا می کند. کد را بررسی می کند، تغییری پیشنهاد می دهد، آزمونی می نویسد و توضیح می دهد چرا خطا فقط گاهی رخ می داده است. اگر بگوییم «فقط متن را کامل کرده»، ارزشی را که این کار برای برنامه نویس دارد نادیده گرفته ایم. مدل چند الگو را کنار هم گذاشته و به حل یک مسئله کمک کرده است.

با این حال، همین یک موفقیت ثابت نمی کند که مدل درکی عمومی از نرم افزار دارد. شاید آزمونش کافی نبوده، تغییر پیشنهادی سرعت برنامه را کم کند یا مدل با اندکی تغییر در صورت مسئله دیگر به راه حل نرسد.

به جای بحثی بی پایان درباره ی ماهیت مدل، توانایی اش را بسنجیم. در چه نوع کار هایی موفق است؟ با تغییر کوچک در ورودی چه می شود؟ خطاهایش کجا تکرار می شوند؟ اگر مدل یا دستور ها یا ابزارهایش عوض شوند، کیفیت چقدر تغییر می کند؟

برای نمونه، پژوهش OpenAI درباره ی شبیه سازی استقرار از گفت وگو هایی شبیه استفاده ی واقعی کمک می گیرد تا رفتار های ناخواسته را پیدا کند؛ رفتار هایی که شاید از چند پرسش نمایشی آشکار نشوند. هدف، بررسی عملکرد سامانه در شرایط نزدیک تر به واقعیت است، نه حدس زدن احساسات آن.

یک آزمون می تواند نشان دهد مدل مجموعه ای از مسئله ها را حل می کند. اما به تنهایی نمی گوید مدل برای حل آن ها همان مفاهیم یا روش ذهنی انسان را به کار برده است. در عین حال، متفاوت بودن روش مدل هم نتیجه را بی ارزش نمی کند. هواپیما مثل پرنده بال نمی زند، اما پروازش واقعی است و می توان آن را سنجید.

در کار مهندسی، پرسش های زیر معمولاً از این که «آیا مدل می فهمد؟» مفیدترند:

• چه ورودی هایی را آزموده ایم؟
• کدام خطا ها جدی اند؟
• نتیجه با تغییر های کوچک همچنان درست می ماند؟
• سامانه می فهمد چه وقت اطلاعات کافی ندارد؟
• دسترسی به ابزار ها، داده ها و مجوز ها چه اثری بر نتیجه دارد؟
• اگر مدل از محدوده ی آزموده شده بیرون رفت، چه جایگزینی داریم؟

پاسخ این پرسش ها به ما می گوید چه کاری را می توان با خیال آسوده به سامانه سپرد.

بازنمایی جهان با تجربه کردن آن فرق دارد

مدل ها گاهی رابطه هایی را تشخیص می دهند که در یک جمله ی ساده جا نمی گیرند. ممکن است پیامد ها را پیش بینی کنند، وضعیت اشیا را در یک سناریو دنبال کنند یا الگویی را به موقعیتی تازه تعمیم دهند. پژوهشگران بررسی می کنند که آیا چنین توانایی هایی از وجود نوعی «مدل جهان» در سامانه خبر می دهد یا نه.

اما این عبارت لزوماً به این معنا نیست که مدل جهان را مثل ما تجربه می کند. نقشه ای از شهر، خیابان ها را نشان می دهد، اما خودش در آن ها قدم نمی زند. پایگاه داده ای درباره ی مشتریان هم مشتریان را تجربه نمی کند. بازنمایی در ذهن یک مدل ممکن است بسیار پیچیده تر باشد، ولی بازنمایی، تجربه، دسترسی و عاملیت یکی نیستند.

این تمایز در سازمان ها هم مهم است. یک دستیار ممکن است سیاست خرید را توضیح دهد، اما به آخرین نسخه ی مصوب آن دسترسی نداشته باشد. ممکن است درباره ی نارضایتی مشتری بنویسد، ولی سابقه ی او یا پیامد تصمیم پیشنهادی را نداند. گاهی هم از داده ی ناقص، روایتی بسیار قانع کننده می سازد.

پس حتی اگر مدل رابطه های مفیدی را یاد گرفته باشد، باز هم باید مطمئن شویم اطلاعات مربوط به همین تصمیم را دارد. به همین دلیل راستی آزمایی پاسخ های هوش مصنوعی پیش از اعتماد بر پیگیری منبع و جدا کردن مشاهده از برداشت تأکید می کند. برداشت کلی ما از هوشمندی نباید جای بررسی شواهد همان پاسخ را بگیرد.

از گفته ی اول شخص مدل چه برداشتی کنیم؟

اگر از یک مدل بپرسیم «آگاهی؟»، ممکن است بگوید آگاه نیست، ادعا کند آگاه است، جواب را مشروط کند یا همان فرض های موجود در پرسش را تکرار کند. پاسخ ممکن است با دستور های مدل، روش آموزش، نسخه ی نرم افزار یا گفت وگوی قبلی تغییر کند.

بنابراین نباید حرف اول شخص مدل را مثل شهادت یک انسان درباره ی تجربه ی شخصی اش بخوانیم. این حرف ها همچنان می توانند موضوع پژوهش باشند: مثلاً بررسی کنیم مدل چطور خودش را توصیف می کند یا در موقعیت های مختلف درباره ی عدم قطعیت چه می گوید. اما پیش از آن که نشان دهیم این گفته ها به یک تجربه ی درونی وصل اند، نباید آن ها را «اثبات آگاهی» بنامیم.

اگر مدلی از ترس، درد یا علاقه حرف بزند، باز هم اثر این زبان بر کاربر واقعی است؛ حتی اگر ندانیم خود مدل چیزی را احساس می کند یا نه. تیم محصول باید مراقب باشد این زبان وابستگی عاطفی نسازد یا اعتماد بیش از اندازه ایجاد نکند. چند قاعده ی ساده کمک می کند:

• پاسخ اول شخص مدل را به عنوان مدرک آگاهی تبلیغ نکنید.
• صمیمیت مصنوعی را جای ارزش واقعی محصول ننشانید.
• بررسی کنید لحن انسان وار چه اثری بر اعتماد و اطلاعاتی که کاربر در میان می گذارد دارد.
• درباره ی تجربه ی درونی مدل با قطعیت حرف نزنید.
• پژوهش آگاهی یا رفاه مدل را به متخصصان علمی و اخلاقی بسپارید.

آگاهی ماشین هنوز پرسشی باز است

این که شواهد کافی نداریم، به معنی آن نیست که آگاهی در ماشین ناممکن است.

مقاله ی داوری شده ی سال ۲۰۲۶ در نشریه ی Trends in Cognitive Sciences با عنوان «شناسایی شاخص های آگاهی در سامانه های هوش مصنوعی» پیشنهاد می کند شاخص هایی را از نظریه های علوم اعصاب استخراج کنیم و ببینیم معماری های هوش مصنوعی تا چه اندازه با آن ها سازگارند. نویسندگان بر نامطمئن بودن نتیجه هم تأکید می کنند. این راه از قضاوت بر پایه ی «انسان وار به نظر رسیدن» دقیق تر است، اما همچنان پاسخ قطعی به دست نمی دهد.

در سال ۲۰۲۵، شرکت Anthropic هم پژوهشی درباره ی رفاه مدل ها را آغاز کرد و گفت درباره ی آگاه بودن سامانه های کنونی یا آینده اجماع علمی وجود ندارد. پژوهش کردن بدون ادعای قطعیت، رویکرد معقولی است.

سازمان ها می توانند دو نکته را با هم بپذیرند: شواهد امروز شاید برای نسبت دادن تجربه ی آگاهانه کافی نباشد؛ بااین حال، دانش و معماری های آینده ممکن است نگاه ما را تغییر دهند. این یعنی باید پژوهش را ادامه داد، تغییر های مدل و روش آموزش را ثبت کرد و در صورت لزوم نظر متخصصان بیرونی را گرفت.

هم زمان، دو نوع مسئولیت را قاطی نکنیم. یک بحث درباره ی آسیبی است که هوش مصنوعی می تواند به آدم ها برساند: توصیه ی خطرناک، تبعیض، نقض حریم خصوصی یا تصمیمی که معلوم نیست چه کسی مسئولش است. این خطر ها همین حالا وجود دارند و باید برایشان ارزیابی و کنترل داشته باشیم. بحث دیگر این است که آیا خودِ یک سامانه ی هوش مصنوعی می تواند سزاوار ملاحظه ی اخلاقی باشد. این پرسش به پژوهش تخصصی نیاز دارد و مسئولیت های روشن امروز ما در قبال انسان ها را از میان نمی برد.

«می فهمد» را به ادعایی روشن تبدیل کنیم

در آموزش هوش مصنوعی، پیش از آن که از مدل سؤال کنیم، از یادگیرندگان می خواهم مشخص کنند چه چیزی را شاهد موفقیت می دانند. وگرنه ممکن است یک جواب خوش ساخت را به اشتباه نشانه ی فهم بدانیم.

مدیران محصول و تیم های فنی هم می توانند همین کار را بکنند. هرجا در نیازمندی، دمو یا پیشنهاد فروشنده واژه ی «می فهمد» را دیدید، این پرسش ها را مطرح کنید:

این کار بحثی مبهم را به تصمیمی مهندسی تبدیل می کند.

همین روش برای نیازمندی های گنگ هم جواب می دهد. اگر گفته اند مدل باید «نیت کاربر را بفهمد»، روشن کنید منظور از نیت چیست، چه نمونه هایی را باید تشخیص دهد، در چه مواردی باید درخواست را ارجاع کند و چه میزان خطا پذیرفتنی است. اگر فروشنده ای می گوید ایجنتش «مثل متخصص استدلال می کند»، بپرسید کدام تصمیم ها را با چه داده و ابزاری آزموده اند و در کدام موقعیت ها شکست خورده است.

بعد توانایی آزموده شده را به کنترل های عملیاتی وصل کنید. پروتکل های اطمینان پذیری هوش مصنوعی توضیح می دهند چرا توانایی مدل فقط بخشی از یک سامانه ی قابل اتکاست. ثبت رخداد ها، مدیریت مجوز ها، تأیید انسانی، آزمون دوباره پس از تغییر و امکان بازگشت به نسخه ی قبل تعیین می کنند که سامانه چقدر اختیار داشته باشد.

لازم نیست در گفت وگوی روزمره استفاده از واژه ی «فهمیدن» را کنار بگذاریم. اما وقتی این واژه قرار است مجوز، بودجه، ریسک یا یک ادعای علمی را توجیه کند، باید دقیق تر حرف بزنیم.

توانایی را بسنجیم؛ درباره ی آگاهی محتاط بمانیم

برای جدی گرفتن هوش مصنوعی لازم نیست ثابت کنیم مثل انسان فکر می کند. سامانه ای می تواند برای کسب وکار ارزشمند، برای عملیات خطرناک یا برای پژوهش جالب باشد، بی آن که تجربه ای انسانی داشته باشد.

از آن طرف، هر پاسخ چشمگیر را هم نباید نشانه ی وجود یک «شخص» پنهان دانست. چنین برداشتی چیزی را روشن نمی کند و سنجیدن توانایی را دشوارتر می سازد.

بهتر است اول همان پرسش محدود را جواب بدهیم: سامانه چه کرد؟ در چه شرایطی؟ چند بار موفق شد؟ چه ابزار و اطلاعاتی داشت؟ کدام نتیجه را می توانیم بگیریم و کدام پرسش هنوز بی پاسخ است؟

اگر بحث عملکرد است، کارکرد را بسنجیم. اگر بحث بازنمایی درونی است، سازوکار را بررسی کنیم. اگر بحث آگاهی است، سراغ نظریه ها و شواهد مناسب برای پژوهش آگاهی برویم. یک نوع شاهد قرار نیست پاسخ هر سه پرسش را بدهد.

هوش مصنوعی امروز بدون افسانه سازی هم مهم است. باید رفتارش را دقیق بسنجیم، خطاهایش را مهار کنیم، اثرش بر آدم ها را در طراحی در نظر بگیریم و پرسش های دشوار درباره ی جایگاه اخلاقی احتمالیِ آن را هم با پژوهش پی بگیریم. حرف دقیق کمک می کند این کار ها را از هم جدا کنیم و هرکدام را درست انجام دهیم.