وقتی همه راه حل ها شبیه هم شده اند، سوال را عوض کنید

در جلسه ای برای بهتر کردن دستیار هوش مصنوعی، پنج پیشنهاد می شنوید: مدل قوی تر، سند بیشتر، دستور تازه، عامل هوشمندتر یا تنظیم دیگر برای بازیابی. اسم ها فرق دارد؛ اما شاید همه بر یک فرض تکیه کنند: مشکل را باید در خود دستیار حل کرد.

اگر تیم فقط گزینه های هم خانواده تولید کند، جلسه ایده پردازی نیست؛ انتخاب زودهنگام یک راه حل است. برای بیرون آمدن از این دور، هر بار یکی از شرط های مسئله را تغییر دهید و ببینید آیا همان پیشنهاد هنوز برنده است.

شش جهت برای تغییر دادن

هر بار فقط یک جهت را تغییر دهید. اگر مسئله، ابزار، داده و معیار را با هم عوض کنیم، معلوم نمی شود کدام تغییر بینش تازه ای داده است. هدف هم ساخت دیوار برگه های یادداشت نیست؛ در پایان باید چند گزینه آزمون پذیر داشته باشیم.

تعداد پاسخ ها را با تنوع اشتباه نگیرید

هوش مصنوعی تولید پیشنهاد را ارزان می کند، اما چند پاسخ خوش ساخت الزاماً چند دیدگاه مستقل نیست. تحلیلی در سال ۲۰۲۵ در Nature Human Behaviour گزارش کرد کمک ChatGPT میانگین امتیاز ایده های جداگانه را بالا برد، اما تنوع مجموعه ایده ها را کم کرد. این نتیجه نمی گوید هوش مصنوعی همیشه خلاقیت را کم می کند؛ هشدار می دهد خروجی های متعدد ممکن است به الگو های یکسان برسند. پژوهش.

اگر از مدل کمک می گیرید، به هر بار کار متفاوتی بدهید: یکی صورت مسئله را به چالش بکشد، دیگری ساده ترین راه بدون هوش مصنوعی را پیدا کند و سومی از دید کاربری فکر کند که هزینه خطا را می پردازد. بعد فرض های زیر پاسخ ها را مقایسه کنید، نه نثرشان را.

پیش از دست زدن به مدل، نتیجه را تعریف کنید

«عامل باید تیکت های بیشتری را حل کند» از قبل یک نوع راه حل و یک معیار را برگزیده است. اگر هدف این باشد که مشتری پس از درخواست کمک کمتر در کارش متوقف بماند، گزینه ها گسترده تر می شوند: متن روشن تر در محصول، اصلاح گردش کار، جست وجوی بهتر، هشدار پیش دستانه یا دستیار محدود. عامل همچنان می تواند گزینه باشد، اما باید فایده اش را نشان دهد.

نتیجه را از سه سطح جدا کنید: رابطی که کاربر می بیند، گردش کاری که باید بهتر شود و پیامدی که سازمان می خواهد. به پرسش های بهتر برای تیم های هوش مصنوعی و فرض های پنهان پروژه های هوش مصنوعی هم نگاه کنید؛ ماتریس می پرسد کدام شرط را عوض کنیم و با چه آزمونی.

برای سنجش مدل یا عامل، ثابت ها را از تغییر جدا نگه دارید. یک بار مدل را تغییر دهید و همان کار ها، معیار ها و ابزار ها را حفظ کنید؛ بار دیگر دستور را عوض کنید و مدل را ثابت نگه دارید. رفتار عامل ممکن است میان اجرا ها فرق کند، پس یک اجرای موفق فقط نشان می دهد کار شدنی است، نه این که قابل اتکاست. راهنمای ارزیابی عامل های هوش مصنوعی Anthropic آزمون چندباره و ترکیب ارزیابی خودکار، بازخورد کاربر و بازبینی انسانی را شرح می دهد. راهنمای ارزیابی OpenAI یادآوری می کند محیط، ابزار و بودجه آزمون بر نتیجه اثر دارند.

جلسه را با آزمون تمام کنید

در آغاز روی یک صفحه بنویسید: مسئله چیست، گزینه محبوب کدام است، کدام شاهد تعیین کننده بوده و چه دو محدودیتی مهم است. بعد دو نفر هر کدام یک شرط را تغییر دهند. اگر دیدگاه تازه ای به دست آمد، کوچک ترین آزمون برگشت پذیر را انتخاب کنید: برش تازه ای از ارزیابی، چند گفت وگو با کاربر، اجرای سایه یا بازبینی مجوز ها.

پیش از دیدن نتیجه، ثبت کنید چه چیزی به تغییر نظر منجر می شود، چه کسی آزمون را انجام می دهد و کی تصمیم را بازبینی می کنیم. تغییر سنجیده با بی ثباتی فرق دارد؛ عوض کردن هم زمان مدل، دستور، معماری و سنجه فقط داده پرنویز می سازد. وقتی شواهد کافی شد، آزمودن گزینه های تازه را متوقف کنید و انتخاب کنید. تصمیم بهتر از گزینه های بیشتر نمی آید؛ از تفاوتی می آید که اثرش را می توان سنجید.