توهم در هوش مصنوعی چیست و چرا نباید هر پاسخ را باور کنیم؟

مدل‌های هوش مصنوعی می‌توانند پاسخی کاملاً روان، مستدل و مطمئن تولید کنند که بخشی از آن یا حتی تمام آن نادرست است. به این پدیده توهم هوش مصنوعی (AI Hallucination) گفته می‌شود: تولید اطلاعاتی که واقعی به نظر می‌رسند، اما پشتوانه معتبری ندارند یا اساساً ساختگی‌اند. OpenAI نیز هالوسینیشن را تولید گزاره‌های باورپذیر اما نادرست توصیف می‌کند و تأکید دارد که این مشکل حتی در مدل‌های جدیدتر کاملاً از بین نرفته است.

به همین دلیل، روان و حرفه‌ای بودن پاسخ یک چت‌بات نباید با درست‌بودن آن اشتباه گرفته شود؛ به‌خصوص وقتی موضوع پزشکی، حقوقی، مالی، خبری یا وابسته به اطلاعات روز است.

پرونده Mata v. Avianca چگونه خطر هالوسینیشن را نشان داد؟

یکی از معروف‌ترین نمونه‌ها در سال ۲۰۲۳ در دادگاه فدرال ناحیه جنوبی نیویورک اتفاق افتاد، نه یک دادگاه ایالتی. در پرونده Mata v. Avianca، یکی از وکلای شاکی برای پیدا کردن سوابق قضایی مرتبط از ChatGPT استفاده کرد و در لایحه مخالفت با درخواست رد دعوا، به پرونده‌هایی استناد شد که وجود خارجی نداشتند.

وکلای شرکت Avianca اعلام کردند که بیشتر این پرونده‌ها را پیدا نمی‌کنند. دادگاه هم جست‌وجو کرد و به نتیجه مشابهی رسید. با وجود این هشدارها، وکلا برای مدتی همچنان بر مدارک ساختگی تکیه کردند. قاضی در نهایت وکلا و مؤسسه حقوقی را براساس Rule 11 و همچنین تشخیص «بدرفتاری آگاهانه» یا subjective bad faith تحریم کرد و جریمه‌ای ۵ هزار دلاری تعیین شد.

یک نکته مهم در روایت این پرونده وجود دارد: اصل دعوای Mata به‌خاطر هالوسینیشن ChatGPT رد نشد. دادگاه در حکمی جداگانه تشخیص داد شکایت براساس محدودیت زمانی دوساله کنوانسیون مونترال دیر ثبت شده است. پرونده‌های ساختگی باعث مجازات وکلا شدند، اما علت حقوقی رد دعوا چیز دیگری بود.

مدل زبانی چگونه پاسخ تولید می‌کند؟

مدل زبانی بزرگ یا LLM در مرحله آموزش، الگوهای موجود در حجم بزرگی از متن را یاد می‌گیرد. متن ابتدا به واحدهایی به نام توکن تقسیم می‌شود؛ توکن ممکن است یک کلمه کامل، بخشی از یک کلمه یا حتی علامت باشد.

مدل در ساده‌ترین توصیف یاد می‌گیرد با توجه به متن قبلی، توکن بعدی را پیش‌بینی کند. طی آموزش، بازنمایی‌های عددی پیچیده‌ای شکل می‌گیرند که روابط زبانی، معنایی و ساختاری را تا حد زیادی ثبت می‌کنند.

بنابراین این جمله که «هوش مصنوعی فقط کلمات را بدون هیچ درکی کنار هم قرار می‌دهد» بیش از حد ساده است. مدل‌های جدید می‌توانند روابط پیچیده را استخراج و در بسیاری از مسائل استدلال کنند؛ اما سازوکار تولید پاسخ آن‌ها همچنان تضمین نمی‌کند هر گزاره با واقعیت خارجی مطابقت داشته باشد.

مدل برای تولید یک پاسخ مناسب آموزش دیده است، نه اینکه مانند یک پایگاه داده رسمی برای هر جمله ابتدا سند مستقل پیدا و صحت آن را اثبات کند. همین فاصله میان «پاسخ محتمل و مفید» و «واقعیت قابل‌اثبات» یکی از زمینه‌های شکل‌گیری هالوسینیشن است. OpenAI نیز در پژوهش خود اشاره می‌کند که بعضی شیوه‌های آموزش و ارزیابی می‌توانند حدس‌زدن را نسبت به اعتراف به عدم قطعیت بیشتر پاداش دهند.

چه زمانی احتمال هالوسینیشن بیشتر می‌شود؟

هالوسینیشن فقط یک علت ندارد. احتمال خطا می‌تواند بیشتر شود وقتی سؤال درباره موضوعی بسیار خاص یا کم‌منبع باشد، اطلاعات موردنیاز جدیدتر از دانش در دسترس مدل باشد یا کاربر از مدل بخواهد جزئیاتی مانند نام مقاله، پرونده قضایی، تاریخ، نقل‌قول یا منبع مشخصی ارائه کند که مدل اطلاعات مطمئنی درباره آن ندارد.

اطلاعات آموزشی نادرست، ناقص یا متناقض نیز می‌توانند در پاسخ تأثیر بگذارند. علاوه بر این، مدل ممکن است چند قطعه اطلاعات واقعی را به شکلی کنار هم قرار دهد که نتیجه نهایی دیگر واقعی نباشد.

دسترسی به اینترنت و منابع خارجی می‌تواند احتمال بعضی خطاها را کاهش دهد، اما جست‌وجوی وب تضمین حقیقت نیست. مدل ممکن است منبع ضعیفی پیدا کند، متن منبع را اشتباه تفسیر کند یا نتیجه‌گیری فراتر از چیزی انجام دهد که منبع واقعاً گفته است. استفاده از منابع، امکان بررسی پاسخ را بیشتر می‌کند؛ مسئولیت راستی‌آزمایی را از بین نمی‌برد.

فروپاشی مدل یا Model Collapse چیست؟

«فروپاشی مدل» پدیده‌ای متفاوت از هالوسینیشن است. پژوهشی که سال ۲۰۲۴ در Nature منتشر شد بررسی کرد اگر نسل‌های بعدی مدل‌های مولد به‌طور بازگشتی روی خروجی مدل‌های قبلی آموزش ببینند چه اتفاقی می‌افتد.

در آزمایش‌های آن پژوهش، استفاده بی‌ملاحظه از داده‌های تولیدشده توسط مدل‌ها باعث شد نسل‌های بعدی به‌تدریج بخش‌هایی از توزیع اصلی داده‌ها را از دست بدهند؛ به‌ویژه نمونه‌های نادرتر ابتدا حذف می‌شدند و کیفیت بازنمایی واقعیت کاهش پیدا می‌کرد. پژوهشگران این فرایند را Model Collapse نامیدند.

اما از این پژوهش نباید نتیجه گرفت که «اینترنت پر از محتوای هوش مصنوعی می‌شود و همه مدل‌ها ناگزیر نابود خواهند شد». مطالعات دیگری نشان داده‌اند که اگر داده‌های واقعی حفظ شوند و داده‌های مصنوعی در کنار آن‌ها به‌درستی مدیریت شوند، فروپاشی می‌تواند در برخی شرایط رخ ندهد. بنابراین خطر اصلی، آموزش بازگشتی و کنترل‌نشده روی داده مصنوعی است؛ نه صرف استفاده از هر نوع داده تولیدشده با هوش مصنوعی.

اثر ELIZA؛ چرا به یک ماشین زود اعتماد می‌کنیم؟

این مشکل فقط متعلق به عصر ChatGPT نیست. جوزف وایزنبام در دهه ۱۹۶۰ برنامه‌ای به نام ELIZA ساخت که می‌توانست با کاربران گفت‌وگویی شبیه مکالمه با یک روان‌درمانگر داشته باشد.

ELIZA درکی شبیه انسان از احساسات نداشت. برنامه با پیدا کردن الگوها و کلمات در جمله، پاسخ‌هایی متناسب با همان الگو تولید می‌کرد. بااین‌حال، طبیعی‌بودن نسبی مکالمه باعث شد بعضی کاربران توانایی و فهم بیشتری از آنچه واقعاً وجود داشت به سیستم نسبت دهند. مقاله اصلی ELIZA در سال ۱۹۶۶ سازوکار همین گفت‌وگوی مبتنی بر الگو را توضیح می‌دهد.

امروز اصطلاح اثر الایزا (ELIZA Effect) برای همین گرایش انسان به نسبت‌دادن فهم، قصد یا هوشمندی انسانی به یک سیستم کامپیوتری به کار می‌رود. هرچه پاسخ یک چت‌بات طبیعی‌تر و مطمئن‌تر باشد، فراموش‌کردن محدودیت‌های آن نیز آسان‌تر می‌شود.

چگونه پاسخ هوش مصنوعی را راستی‌آزمایی کنیم؟

برای اطلاعات مهم، خود چت‌بات نباید تنها منبع تأیید پاسخ خودش باشد. چند روش عملی می‌تواند احتمال پذیرفتن یک هالوسینیشن را کاهش دهد:

• اسم‌ها، تاریخ‌ها، اعداد و نقل‌قول‌ها را جداگانه بررسی کنید. این جزئیات از بخش‌هایی هستند که ساختگی‌بودنشان ممکن است در نگاه اول مشخص نباشد.
• منبع اصلی را باز کنید. صرف اینکه هوش مصنوعی یک لینک، DOI یا نام مقاله ارائه کرده است، وجود و محتوای آن منبع را ثابت نمی‌کند.
• مطالعه جانبی یا Lateral Reading انجام دهید. از صفحه فعلی خارج شوید و ببینید منابع مستقل و معتبر درباره همان ادعا چه می‌گویند. این روشی است که در آموزش‌های Civic Online Reasoning برای ارزیابی منابع اینترنتی توصیه می‌شود.
• از مدل بخواهید میزان اطمینان و نقاط ضعف پاسخ را مشخص کند. این کار می‌تواند نکات مفیدی آشکار کند، اما نقد خود مدل جای تأیید مستقل را نمی‌گیرد.
• برای موضوعات روز از جست‌وجوی وب استفاده کنید و سپس بررسی کنید که منبع واقعاً همان ادعایی را مطرح کرده باشد که چت‌بات به آن نسبت می‌دهد.
• در موضوعات تخصصی به منبع اولیه بروید. متن قانون و رأی دادگاه برای مسائل حقوقی، مقاله پژوهشی برای ادعای علمی و وب‌سایت رسمی شرکت برای ویژگی یک محصول ارزش بیشتری از یک خلاصه بی‌منبع دارند.

آیا خطر هوش مصنوعی فقط هالوسینیشن است؟

خیر. جفری هینتون، یکی از پژوهشگران تأثیرگذار یادگیری عمیق و برنده جایزه نوبل فیزیک ۲۰۲۴، درباره سوءاستفاده از هوش مصنوعی برای ساخت عوامل زیستی خطرناک و سلاح‌های خودکار نیز هشدار داده است. این موارد با هالوسینیشن متفاوت‌اند؛ در آن‌ها مسئله، استفاده مخرب از توانایی واقعی سیستم است.

هینتون همچنین درباره احتمال از دست‌رفتن کنترل بر سامانه‌هایی که در آینده از انسان هوشمندتر شوند و تغییر بازار کار ابراز نگرانی کرده است. عددهایی که او در برخی مصاحبه‌ها برای خطرهای وجودی مطرح کرده، برآورد شخصی و شهودی اوست، نه احتمال علمی اثبات‌شده یا اجماع پژوهشگران. بنابراین این دیدگاه‌ها باید به‌عنوان هشدار و نظر یک پژوهشگر برجسته روایت شوند، نه پیش‌بینی قطعی آینده.

مدل‌های جدید در بسیاری از سنجش‌ها از نسل‌های قبلی دقیق‌تر شده‌اند، اما هالوسینیشن هنوز حل نشده است. بهترین شیوه استفاده از هوش مصنوعی این نیست که به همه پاسخ‌هایش بدبین باشیم یا همه آن‌ها را بپذیریم؛ بلکه باید بدانیم چه زمانی می‌توان از آن برای فکرکردن و جست‌وجو کمک گرفت و چه زمانی لازم است پاسخ را با یک منبع مستقل اثبات کرد.

منابع

حکم دادگاه فدرال آمریکا در پرونده Mata v. Avianca و رأی جداگانه درباره رد دعوا؛ پژوهش OpenAI درباره هالوسینیشن مدل‌های زبانی؛ مقاله Nature درباره Model Collapse؛ مقاله اصلی ELIZA؛ منابع Civic Online Reasoning درباره Lateral Reading؛ و سخنرانی جفری هینتون در Nobel Prize.