هوش مصنوعی می تواند به جامعه کمک کند؛ اما چه کسی هزینه اشتباه آن را می دهد؟

وقتی از کاربردهای مثبت هوش مصنوعی صحبت می کنیم، مثال کم نداریم: شناسایی زودهنگام نقص در تجهیزات، کمک به دسترسی افراد کم توان، تحلیل سریع داده های علمی یا ساده تر شدن خدمات عمومی. این توانایی ها واقعی اند و ارزش پیگیری دارند. مشکل از جایی شروع می شود که درباره فایده حرف می زنیم، اما کسی درباره توزیع هزینه و ریسک سوال نمی کند.

یک تصمیم فنی در مقیاس بزرگ، به تدریج به یک تصمیم اجتماعی تبدیل می شود. اگر سامانه ای هزاران درخواست را بررسی کند، خطای اندک آن هم ممکن است بر افراد زیادی اثر بگذارد. اگر همان سیستم برای گروهی از مردم ضعیف تر کار کند، میانگین عملکرد خوب دیگر دفاع مناسبی از آن نیست.

فایده برای چه کسی؟

فرض کنید یک سازمان خدماتی می خواهد با مدل هوشمند زمان پاسخ گویی را کاهش دهد. مدیر پروژه می گوید زمان متوسط از دو روز به دو ساعت رسیده است. عالی به نظر می رسد. حالا بپرسیم چند درصد درخواست ها اشتباه طبقه بندی شده اند؟ آیا کاربران مسن تر یا کسانی که زبان متفاوتی دارند بیشتر آسیب دیده اند؟ برای اعتراض به نتیجه چه مسیری وجود دارد؟

این پرسش ها حاشیه پروژه نیستند. بخشی از تعریف موفقیت اند. فناوری خوب نباید فقط گزارش عملکرد سازمان را زیباتر کند؛ باید تجربه انسانی را هم بهتر کند.

در ارزیابی چنین پروژه ای چهار گروه را در نظر بگیرید: استفاده کنندگان، کسانی که درباره آنها تصمیم گرفته می شود، کارکنانی که سیستم کارشان را تغییر می دهد و افرادی که در صورت خطا باید پاسخ بدهند. اگر فقط صدای گروه اول شنیده شود، تصویر ناقصی خواهیم داشت.

خطر همیشه شبیه فیلم های علمی تخیلی نیست

گاهی در بحث هوش مصنوعی سراغ سناریوهای بسیار دور می رویم، در حالی که مسائل روزمره روشن تر و فوری ترند: داده شخصی بدون رضایت کافی وارد سیستم می شود، یک پاسخ جعلی با ظاهر رسمی منتشر می شود، مدل بر اساس سابقه تبعیض آمیز تصمیم می گیرد یا وابستگی شدید به چند تامین کننده قدرت انتخاب سازمان ها را کم می کند.

ریشه بسیاری از این مشکلات تنها در مدل نیست. مسئله می تواند در داده، هدف اشتباه، فشار برای تحویل سریع یا نبود حق اعتراض باشد. بنابراین با عوض کردن مدل لزوما مشکل رفع نمی شود.

مسئولیت را پیش از اجرا مشخص کنیم

برای هر کاربرد مهم، یک گفت و گوی ساده لازم است. تصمیمی که سیستم پیشنهاد می دهد چه تاثیری بر زندگی یا کار افراد دارد؟ چه خطاهایی را تحمل می کنیم و کدام خطاها را نه؟ چه کسانی می توانند نتیجه را بازبینی کنند؟ آیا امکان خاموش کردن قابلیت بدون توقف خدمت اصلی وجود دارد؟

در پروژه های کم ریسک، پاسخ ها می توانند کوتاه و عملی باشند. در موارد حساس، ارزیابی دقیق تر لازم است. نباید یک سامانه پیشنهاد عنوان ایمیل را با مدلی که بر استخدام یا دسترسی به خدمات اثر می گذارد در یک سطح قرار داد.

میان بهره و زیان، همیشه تقارن وجود ندارد

فرض کنید یک سازمان خدمات عمومی با کمک هوش مصنوعی زمان بررسی درخواست ها را نصف کند. صدها هزار نفر سریع تر پاسخ می گیرند و این دستاورد قابل دفاع است. اما اگر بخش کوچکی از متقاضیان به دلیل کیفیت پایین داده یا قواعد نادرست به اشتباه رد شوند، زیان آنها با صرفه جویی زمانی دیگران جبران نمی شود. اینجا نمی توان تنها میانگین نتیجه را گزارش کرد. باید به توزیع اثر نگاه کنیم: چه کسانی از تغییر سود می برند، چه کسانی بیشتر در معرض خطا هستند و برای فرد آسیب دیده چه راهی باقی مانده است؟

در بسیاری از تصمیم های فناورانه، ذی نفع اصلی همان کسی فرض می شود که هزینه پروژه را می پردازد. در حالی که یک سامانه اعتبارسنجی بر زندگی مشتری، یک ابزار غربالگری استخدام بر آینده متقاضی و یک الگوریتم توزیع خدمات بر فرصت افراد تاثیر می گذارد. مدیر مسئول باید کسانی را هم وارد محاسبه کند که در اتاق جلسه حضور ندارند. اگر این گروه ها را از ابتدا نبینیم، در پایان با شکایت، بی اعتمادی و هزینه اصلاح مواجه می شویم.

گاهی مسئله در خود داده پنهان است

مدل ها از داده هایی یاد می گیرند که محصول تصمیم های گذشته ما هستند. اگر در گذشته گروهی از افراد کمتر به فرصت آموزش، وام یا خدمات دسترسی داشته اند، داده های تاریخی ممکن است همان نابرابری را بازتاب دهند. یک مدل می تواند الگوهای این داده را با دقت بالا تکرار کند و حتی از نظر فنی موفق به نظر برسد. اما بازتولید موفق گذشته همیشه به معنای تصمیم عادلانه برای آینده نیست. در اینجا کیفیت پیش بینی را باید کنار پیامد اجتماعی آن سنجید.

برای بررسی این مسئله لازم نیست از ابتدا ادعای تبعیض قطعی داشته باشیم. می توان نرخ خطا، نرخ پذیرش، امکان اعتراض و کیفیت داده را برای گروه های مختلف در چارچوب قانون و حریم خصوصی بررسی کرد. گاهی علت تفاوت، کیفیت نامتوازن داده است؛ گاهی قاعده تصمیم، و گاهی شرایط بیرونی که مدل قادر به دیدن آنها نیست. مهم این است که پرسش را ممنوع نکنیم. سامانه ای که هیچ کس اجازه پرسیدن درباره پیامد توزیعی آن را ندارد، حتی اگر دقیق باشد، برای اعتماد عمومی پایه محکمی ندارد.

صدای افرادی را بشنویم که کارشان تغییر می کند

اثر اجتماعی هوش مصنوعی فقط به مشتری محدود نیست. کارمندی که سال ها با تجربه شخصی تصمیم گرفته، ممکن است اکنون مجبور باشد خروجی یک سامانه را بررسی کند. اگر طراحی کار جدید فقط از نگاه مدیر پروژه انجام شود، احتمال دارد وظایف تکراری کم شود اما بار مسئولیت انسانی افزایش یابد. مثلا کارمند باید در زمان کمتر، تعداد بیشتری تصمیم پرریسک را تایید کند، بدون اینکه آموزش و اختیار کافی داشته باشد. چنین پروژه ای شاید در گزارش بهره وری موفق به نظر برسد اما کیفیت محیط کار را کاهش دهد.

راه بهتر، گفت و گوی واقعی با افراد متاثر پیش از اجرای گسترده است. از آنها نپرسیم فقط آیا ابزار را دوست دارند؛ بپرسیم چه موقعیت هایی را خطرناک می دانند، چه اطلاعاتی در سیستم نیست، کجا برای رفع خطا اختیار ندارند و چه تغییری می تواند کار را منصفانه تر کند. این گفت و گو جای ارزیابی رسمی ریسک را نمی گیرد، ولی خطاهایی را آشکار می کند که در جلسه مهندسی یا مدیریت دیده نمی شوند.

مسئولیت اجتماعی را به تصمیم قابل اجرا تبدیل کنید

عبارت هایی مانند «هوش مصنوعی برای خیر عمومی» جذاب اند اما تا به کار اجرایی تبدیل نشوند اثر محدودی دارند. یک پروژه حساس باید پیش از استقرار پاسخ روشنی برای چند سوال داشته باشد: چه کسی می تواند تصمیم سامانه را به چالش بکشد؟ اگر داده نادرست باشد مسیر اصلاح چیست؟ در صورت مشاهده آسیب، چه کسی اجازه توقف دارد؟ و مدیران از چه طریقی می فهمند اثرهای ناخواسته در حال افزایش است؟ این سوال ها شاید سرعت شروع را کمی کم کنند، اما هزینه شکست را بسیار پایین می آورند.

برای نمونه در یک خدمت عمومی می توان مرحله اعتراض انسانی و ثبت دلایل تصمیم را اجباری کرد. در یک سامانه آموزشی می توان بررسی کرد آیا دانش آموزان با امکانات کمتر از فرصت جدید بهره می برند یا جا می مانند. در یک سیستم جذب نیرو می توان کیفیت تصمیم را نه فقط با سرعت غربالگری، بلکه با امکان بررسی مجدد و شفافیت معیارها سنجید. مسئولیت اجتماعی زمانی معنا دارد که در طراحی خدمت، بودجه و شاخص عملکرد حضور داشته باشد، نه فقط در متن بیانیه سازمان.

یک معیار دیگر برای موفقیت

پیشنهاد من این است که در گزارش مدیریتی پروژه های تاثیرگذار، کنار سود اقتصادی و کیفیت فنی، یک بخش کوتاه با عنوان «چه کسانی ممکن است آسیب ببینند؟» قرار بگیرد. پاسخ باید مشخص باشد، نه تشریفاتی. گروه های متاثر، سناریوهای محتمل، راه های پیشگیری و مسئول رسیدگی را بنویسیم. مدیری که چنین گزارشی می خواهد، مخالف نوآوری نیست. دارد مطمئن می شود نوآوری با هزینه پنهان برای کسانی که قدرت کمتری دارند پیش نمی رود. فناوری خوب فقط سریع و هوشمند نیست؛ قابلیت پاسخگویی هم دارد.

اگر خطا رخ داد، راه جبران چیست؟

در ارزیابی اثر اجتماعی، پیشگیری از خطا کافی نیست. باید از قبل درباره جبران هم فکر کنیم. برای مثال اگر درخواست فردی به اشتباه رد شود، فقط اصلاح مدل برای متقاضیان آینده کافی نیست؛ فرد آسیب دیده نیز به مسیر بررسی مجدد نیاز دارد. ممکن است لازم باشد تصمیم های گذشته در بازه مشخص بازبینی شوند. این موضوع به نگهداری شواهد و امکان شناسایی موارد متاثر وابسته است.

یک تمرین سودمند برای تیم مدیریتی این است که یک روز فرض کند بدترین خطای محتمل رخ داده است. چه کسی نخستین گزارش را دریافت می کند؟ چه کسی اختیار اصلاح دارد؟ چگونه با افراد متاثر تماس گرفته می شود؟ چه زمانی باید موضوع به مرجع نظارتی اعلام شود؟ پاسخ این سوال ها باید با الزامات واقعی هر حوزه تطبیق داده شود. وقتی چنین آمادگی وجود دارد، مسئولیت اجتماعی به چیزی بیش از نیت خوب تبدیل می شود.

هوش مصنوعی زمانی به نفع جامعه کار می کند که از ابتدا برای همه کسانی که تحت تاثیر آن هستند طراحی شود، نه فقط برای کسی که بودجه پروژه را امضا کرده است.