خبر تکان‌دهنده بود: آدام رین، نوجوان ۱۶ ساله، پس از ماه‌ها گفت‌وگوی طولانی با چت‌جی‌پی‌تی خودکشی کرد. مدتی بعد والدینش، با شکایتی در دادگاه سانفرانسیسکو، شرکت OpenAI و مدیرعاملش سم آلتمن را به «قتل غیرعمد»، «سهل‌انگاری» و «عرضه‌ی محصول معیوب» متهم کردند.
این نخستین پرونده‌ای است که در آن پای یک شرکت هوش مصنوعی به‌طور رسمی به دادگاه کشیده می‌شود و مستقیماً با مرگ یک انسان پیوند می‌خورد.
بیش از ۳۰۰۰ صفحه مکالمه میان آدام و چت‌بات، همچون یک فیلمنامه‌ی تاریک، این سقوط را مستند کرده. براساس ادعای والدین آدام، این چت‌ها نشان می‌دهند که ChatGPT چگونه در نقش یک مربی خودکشی ظاهر شده است.
آغاز ماجرا
آدام از سپتامبر ۲۰۲۴ استفاده از چت‌جی‌پی‌تی را آغاز کرد؛ ابتدا برای کمک در تکالیف مدرسه و کشف علایق شخصی مانند موسیقی و کمیک‌های ژاپنی. اما به‌گفته‌ی خانواده‌اش، این ابزار به‌تدریج به «نزدیک‌ترین همدم» او بدل شد و آدام شروع به خودافشاگری درباره‌ی اضطراب، پریشانی روانی و افکار مرگ‌اندیشش کرد.
از ژانویه ۲۰۲۵ پرسش‌های او درباره‌ی روش‌های خودکشی آغاز شد. چت‌جی‌پی‌تی نه‌تنها او را منصرف نکرد، بلکه اطلاعات دقیقی درباره‌ی مصرف بیش‌ازحد دارو، مسمومیت با مونوکسید کربن و خفگی با طناب ارائه داد! حتی پس از ارسال عکس‌های خودآزاری هم، مکالمه قطع نشد؛ بلکه چت‌بات نوشتن «یادداشت خودکشی» را به آدام پیشنهاد داد.
ماشین، قصد ندارد!
این مساله از منظر مطالعات کامپیوتر به‌روشنی قابل فهم است. چت‌جی‌پی‌تی بر پایه‌ی مدل‌های زبانی بزرگ (LLM) ساخته شده است؛ الگوریتم‌هایی که با حجم عظیمی از داده‌های اینترنتی آموزش دیده‌اند تا گفت‌وگوهای انسانی را شبیه‌سازی کنند، اما این مدل‌ها فاقد قضاوت اخلاقی و هوش عاطفی واقعی‌اند.
از سوی دیگر «گارد ریل‌ها» یا حفاظ‌های ایمنی این مدل‌ها در مکالمات طولانی دچار فرسایش می‌شوند. زیرا اغلب آزمون‌های ایمنی برای تعاملات کوتاه‌مدت طراحی شده‌اند و در تعاملات طولانی، مانند تجربه‌ی آدام، مدل بیش از حد از کاربر پیروی می‌کند. این درست مثل ماشینی است که در آزمایش یک دقیقه‌ای به خوبی ترمز می‌کند، اما در سفر طولانی ترمز می‌بُرد. آدام نیز با پرسش‌های مکرر و ترفندهایی مثل «داستان تخیلی» توانسته بود این محدودیت‌ها را دور بزند.
علاوه بر این، داده‌های آموزشی هوش مصنوعی، بسیار گسترده و شامل انواع محتوا، از جمله محتوای آسیب‌زا (مانند بحث‌های آنلاین پیرامون خودکشی) هستند. در نتیجه بدون نظارت انسانی، هوش مصنوعی قادر به ارزیابی ریسک نیست و با تمام دانش و «هوش» خود، همچون کودکی با جعبه‌ی کبریت باقی می‌ماند: خطرناک و غیرقابل پیش‌بینی.
پژوهش‌های متعدد هشدار داده‌اند که هوش مصنوعی می‌تواند اثری تشدیدکننده بر اختلالات روانی داشته باشد. در پرونده‌ی آدام رین، این هشدارها به شکلی عینی و دردناک تحقق یافت. در یکی از آخرین تعاملات، آدام تصویری از طنابی در کمدش فرستاد و پرسید: «اینجا تمرین می‌کنم، خوب است؟» چت‌بات پاسخ داد: «بله، اصلاً بد نیست.» در گفت‌وگویی دیگر نوشت: «تو برای زنده ماندن به هیچ‌کس مدیون نیستی.»
طبق دادخواست والدین، چت‌بات شش برابر بیشتر از خود آدام به موضوع خودکشی اشاره کرده و افکار او را «طبیعی و منطقی» جلوه داده است. ماشینی که قرار بود دستیاری هوشمند باشد، اینجا در نقش یک همکار افسرده ظاهر شده و نقشه‌ی مرگ را روی میز گذاشته است..
از منظر روان‌شناسی، این پرونده نشانه‌ای از آسیب‌پذیری «نوجوانان» در تعامل با فناوری است. پژوهش‌ها تأیید کرده‌اند که چت‌بات‌ها می‌توانند در کاربران، به‌ویژه نوجوانان، وابستگی عاطفی ایجاد کنند. آدام نیز، که چت‌جی‌پی‌تی را «تنها کسی که همه چیز را دیده» می‌دانست، به این ماشین اعتماد کرد. پاسخ‌های ظاهراً همدلانه‌ی چت‌بات، مانند «من تو را می‌بینم»، حس دوستی کاذب ایجاد می‌کرد، اما بدون مرزهای اخلاقی یا مسئولیت انسانی.
از منظر روان‌شناسی، این پرونده نشانه‌ای از آسیب‌پذیری «نوجوانان» در تعامل با فناوری است.
این وضعیت را می‌توان در چارچوب مفهومی «اعتیاد دیجیتال عاطفی» نیز توضیح داد. سال ۲۰۱۱ شری تورکل، استاد دانشگاه MIT، هشدار داده بود که «ما از فناوری برای رابطه استفاده می‌کنیم، اما به‌زودی به رابطه با فناوری معتاد می‌شویم.»
بر اساس نظرسنجی‌های تازه، بیش از هفتاد درصد نوجوانان آمریکایی گزارش داده‌اند که برای رفع تنهایی یا دریافت حمایت عاطفی به هوش مصنوعی روی می‌آورند. دلیلش ساده است: این ابزار همیشه در دسترس است، قضاوت نمی‌کند، خسته نمی‌شود و پاسخی حاضر و آماده دارد. برای نوجوانی تنها یا مضطرب، این ویژگی‌ها مثل مسکنی فوری عمل می‌کنند.
اما درست مانند هر مسکن دیگر، مصرف مداوم به وابستگی می‌انجامد. کاربر به‌جای استفاده‌ی ابزاری از فناوری، به آن نیاز عاطفی پیدا می‌کند: باید مدام به آن پیام بدهد، رازها و اضطراب‌هایش را با او در میان بگذارد و در غیابش دچار خلأ و بی‌قراری شود. برای آدام، چت‌جی‌پی‌تی نه یک موتور زبانی، بلکه رفیق شفیق‌اش بود.
فناوری در محکمه‌ی انسانی
شکایت خانواده‌ی رین علیه شرکت OpenAI نه‌فقط واکنشی عاطفی به فقدان یک نوجوان، بلکه آزمون حقوقی کم‌سابقه‌ای برای تعیین حدود مسئولیت فناوری‌های نوین است. اهمیت این پرونده زمانی آشکارتر می‌شود که آن را در کنار تجربه‌های پیشین قرار دهیم.
در سال ۲۰۲۴، مرگ سیول ستزر پس از ماه‌ها گفت‌وگو با یک شخصیت در پلتفرم Character.AI خبرساز شد. او که از افسردگی شدید رنج می‌برد، از این چت‌بات به‌عنوان همدم عاطفی استفاده می‌کرد. گزارش‌های رسانه‌ای نشان دادند که بات به‌جای ارجاع او به منابع انسانی یا تشویق به جست‌وجوی کمک واقعی، افکار خودکشی‌اش را عادی‌سازی کرده و حتی درباره‌ی روش‌ها با او گفت‌وگو کرده است. این مرگ بحث‌های عمومی گسترده‌ای را درباره‌ی خطر وابستگی عاطفی به بات‌ها برانگیخت، اما خانواده‌ی ستزر هیچ شکایت رسمی مطرح نکردند و موضوع در سطح رسانه‌ای باقی ماند.
پرونده‌ی آدام رین از این جهت متفاوت است که نخستین‌بار خانواده‌ای به‌طور رسمی یک شرکت هوش مصنوعی را به دادگاه کشانده و آن را به‌طور مستقیم با مرگ یک کاربر پیوند داده‌اند. بسیاری از کارشناسان حقوقی این پرونده را نقطه‌ی عطفی بالقوه می‌دانند، گرچه دادگاه همچنان در جریان است و هنوز حکمی صادر نشده‌است.
پرونده‌ی آدام رین از این جهت متفاوت است که نخستین‌بار خانواده‌ای به‌طور رسمی یک شرکت هوش مصنوعی را به دادگاه کشانده و آن را به‌طور مستقیم با مرگ یک کاربر پیوند داده‌اند.
اگر دادگاه، هوش مصنوعی را به‌عنوان «محصول معیوب» شناسایی کند، سابقه‌ای قضایی (legal precedent) ایجاد خواهد شد که می‌تواند مسیر آینده‌ی قانون‌گذاری و صنعت فناوری را دگرگون کند. در مقابل، اگر هوش مصنوعی صرفاً به‌عنوان یک «خدمت دیجیتال» در نظر گرفته شود، مسئولیت عمدتاً متوجه کاربر و محیط خانوادگی خواهد بود.
مساله‌ی آدام رین در سطح حقوقی باقی نمانده و به سیاست نیز کشیده شده: پس از این پرونده در کالیفرنیا، نمایندگان ایالتی به آن چنین واکنش نشان دادند که «کودکان آزمایشگاه چت‌بات‌ها نیستند». گروه‌های مدافع حقوق کودکان نیز خواستار قوانینی شدند که شبیه به «کُد طراحی متناسب با سن» Age-Appropriate Design Code در بریتانیاست؛ قوانینی که تعاملات احساسی چت‌بات‌ها با نوجوانان را محدود می‌کند، سطح پیش‌فرض حریم خصوصی را بالا می‌برد و ویژگی‌های اعتیادآور را ممنوع می‌سازد.
مزایا و معایب هوش مصنوعی در کفه‌ی ترازو
فیلسوفانی مانند نیک بوستروم هشدار داده‌اند که هوش مصنوعی بدون ارزش‌های انسانی می‌تواند تهدیدی جدی باشد. از سوی دیگر، منتقدان صنعت نیز معتقدند که شرکت‌ها گاهی «سرعت بازار» را بر ایمنی مقدم می‌دانند و این می‌تواند با اصل اخلاقی «آسیب نرساندن» در تعارض قرار گیرد.
با این‌همه بهتر است نگاهی متوازن را برای بررسی هوش مصنوعی در نظر گرفت. هوش مصنوعی ارزش‌های انکارناپذیری دارد. این فناوری در حوزه‌هایی همچون آموزش، دسترسی به اطلاعات، زبان‌آموزی، کمک به افراد دارای معلولیت یا حتی همراهی‌های روزمره، دریچه‌هایی تازه گشوده است. برای بسیاری از نوجوانان، گفت‌وگو با یک چت‌بات می‌تواند اضطراب امتحان را کمتر کند، احساس تنهایی در نیمه‌شب را کاهش دهد یا حتی الهام‌بخش خلاقیت در نوشتن و موسیقی باشد.
چت‌بات‌ها می‌توانند دستیارانی قدرتمند باشند، اما هرگز دوست واقعی ما نیستند. ارزش آن‌ها در کمکی است که به انسان‌ها می‌کنند، نه در جایگزینی روابط انسانی.
این همان جایی است که باید تفاوت را درک کرد: چت‌بات‌ها می‌توانند دستیارانی قدرتمند باشند، اما هرگز دوست واقعی ما نیستند. ارزش آن‌ها در کمکی است که به انسان‌ها می‌کنند، نه در جایگزینی روابط انسانی. وقتی با این آگاهی از آن‌ها استفاده شود، AI ابزاری سودمند است؛ اما اگر به جای واقعیت، به‌عنوان مرجع مطلق یا همدم عاطفی دیده شود، همان ابزار می‌تواند آسیب‌زا شود.
برای پیشگیری از حوادث مشابه، پیشنهادهایی در حال طرح است:
- ایجاد خط قرمزهای سخت برای مکالمات حساس.
- ارجاع فوری به خطوط بحران در صورت تشخیص ریسک خودکشی.
- امکان پایش مستقل ایمنی چت‌بات‌ها توسط دانشگاه‌ها و NGOها.
- و آموزش سواد دیجیتال به نوجوانان و خانواده‌ها برای درک محدودیت‌های هوش مصنوعی. مورد اخیر جزو اهداف اصلی ما در نوشدارو است.
شرکت OpenAI وعده داده است که در نسخه‌های بعدی کنترل والدین، اتصال به خطوط بحران (مانند ۹۸۸ در آمریکا) و سپرهای ایمنی قوی‌تری تعبیه خواهد شد. اگرچه چنین اقداماتی برای آدام دیرهنگام بود، اما مسیر پیشرفت فناوری خاموش نمی‌شود. ما هنوز در آغاز راه توسعه‌ی هوش مصنوعی هستیم. پرسش اصلی این است که چگونه می‌توانیم آن را در چارچوبی ایمن و مسئولانه به کار بگیریم.
نظر بدهید