سواد دیجیتال
جعبه‌ی سیاه هوش مصنوعی

چرا نمی‌دانیم در ذهن هوش مصنوعی چه می‌گذرد؟

نویسندهدکتر علی‌اصغر هنرمند
بازبینیدانیال طبایی
یک مغز انسان داخل یک جعبه‌ی شیشه‌ای با قاب و قفل‌های فلزی ذغالی، در زمینه‌ای کرم؛ نمادی از «جعبه‌ی سیاه» هوش مصنوعی که می‌توانیم داخلش را ببینیم اما نمی‌فهمیم چطور فکر می‌کند
زمان مطالعه ۴ دقیقه
صحت سنجی شده

این محتوا پیش از انتشار، از نظر علمی و صحت اطلاعات بررسی شده است.

اصول و سیاست تحریریه(در زبانه جدید باز می‌شود)
نویسندهدکتر علی‌اصغر هنرمند
بازبینیدانیال طبایی

تصور کنید که همکار جدیدتان امیر، هر روز کارهای درخشانی انجام می‌دهد: برنامه‌نویس فوق‌العاده‌ای است و گزارش‌هایی عالی می‌نویسد. اما گاهی هم یک اشتباه عجیب و غیرقابل‌توضیح از او سر می‌زند. هنگامی که از او می‌پرسید «چطور به این نتیجه رسیدی؟»، پاسخی بسیار منطقی و قانع‌کننده می‌دهد، اما شما مطمئن نیستید که واقعاً همین اتفاق در ذهنش هم افتاده باشد! حالا تصور کنید که امیر را خودتان ساخته‌اید و باز هم نمی‌دانید که در ذهنش چه می‌گذرد.

این دقیقاً وضعیت امروز ما با هوش مصنوعی است. شرکت‌هایی که این مدل‌ها را می‌سازند، خودشان هم نمی‌دانند که مدل چرا یک جواب خاص را انتخاب می‌کند! اما چرا؟ مگر یک برنامه‌ی کامپیوتری نیست که آدم‌ها نوشته‌اند؟

هوش مصنوعی «نوشته» نمی‌شود، «پرورش» داده می‌شود

نرم‌افزارهای معمولی (مثلاً اپلیکیشن بانکی توی موبایل‌تان) را برنامه‌نویس‌ها خط به خط می‌نویسند. اگر اشتباهی رخ بدهد، می‌توان همان خط را پیدا و درستش کرد، اما مدل‌های هوش مصنوعی این‌طور ساخته نمی‌شوند. سازندگان فقط یک ساختار خالی می‌سازند و بعد میلیاردها متن و تصویر به آن نشان می‌دهند تا خودش کم‌کم الگوها را یاد بگیرد. یکی از پژوهشگران مطرح این حوزه می‌گوید که این سیستم‌ها «بیشتر پرورش داده می‌شوند تا ساخته شوند»؛ مثل یک باغچه، نه مثل یک ساختمان.

نتیجه این است که در پایان، صدها میلیارد عدد (که به آنها «وزن» می‌گوییم) داریم که با هم کار می‌کنند، اما هیچ عددی به‌تنهایی معنای مشخصی ندارد. هیچ جایی در داخل مدل نوشته نشده که «این وزن یعنی مفهوم دوستی» یا «آن وزن یعنی پایتخت فرانسه». دانش مدل، درست مثل دانش درون مغز شما، در الگوی کلی اتصال‌ها پخش شده است و نه در یک خانه‌ی مشخص.

دقیقاً همان مشکلی که با مغز انسان داریم

اگر این حرف‌ها برایتان آشناست، تعجب نکنید! ما پزشکان سال‌هاست که با همین مشکل درباره‌ی مغز خودمان دست‌وپنجه نرم می‌کنیم. سال ۲۰۲۴ دانشمندان برای اولین بار موفق شدند نقشه‌ی کامل مغز یک مگس میوه را ترسیم کند. اگر برایتان سوال است که چرا سراغ مگس رفتند، به این دلیل است که مغز نسبتا ساده‌ای دارد. البته همین مغز به‌ظاهر ساده هم بعد از ترسیم نقشه مشخص شد که حاوی حدود ۱۴۰ هزار نورون و ۵۴ میلیون اتصال است؛ اما به نظرتان حالا می‌دانیم که مگس «چطور فکر می‌کند»؟ خیر! داشتن نقشه‌ی سیم‌کشی با فهمیدن منطق کار، دو چیز کاملاً متفاوت است.

اینجا بد نیست جهت مقایسه، مغز انسان را هم بیاوریم: ما حدود ۸۶ میلیارد نورون و بین ۱۰۰ الی ۵۰۰ تریلیون اتصال در مغزمان داریم! این را با چند مدل هوش مصنوعی هم مقایسه کنیم: اعداد مدل‌های پیشران فعلی را نداریم چون به صورت عمومی اعلام نشده است، اما پیشرفته‌ترین مدل‌های متن‌باز فعلی صدها میلیارد تا حدود یک تریلیون پارامتر دارند.

پس چرا از خودش نمی‌پرسیم؟

شاید بگویید که خب از خود مدل بپرسیم که چطور فکر کرده است! مشکل دقیقاً همین‌جاست. پژوهشگران شرکت «آنتروپیک» روشی برای ردیابی بخشی از محاسبات داخلی مدل توسعه داده‌اند که مثل یک دستگاه ام‌آرآی، مسیرهای فعال داخل مدل را هنگام جواب‌دادن نشان می‌دهد.

یکی از یافته‌های نگران‌کننده این بود که مدل گاهی برای یک مسئله‌ی ریاضی، یک توضیح قدم‌به‌قدم زیبا می‌نویسد، در حالی که فعالیت داخلی‌اش نشان می‌دهد که اصلاً آن مسیر را نرفته! درست مثل آدمی که اول تصمیم می‌گیرد و بعد برایش دلیل می‌تراشد (این شما را یاد خودتان نمی‌اندازد؟). روان‌شناسان سال‌هاست که می‌دانند ما انسان‌ها هم دسترسی چندان خوبی به دلیل واقعی تصمیم‌هایمان نداریم. توضیحی که می‌دهیم، معمولا داستانی است که بعد از ماجرا ساخته می‌شود.

پنجره‌ای که تازه باز شده است

خبر خوب این است که همین ابزارها دارند کم‌کم چیزهایی را نشان می‌دهند. مثلاً معلوم شده که مدل وقتی شعر می‌گوید، از قبل کلمه‌ی قافیه‌ی خط بعد را انتخاب می‌کند و بعد جمله را به سمت آن می‌چیند؛ یعنی واقعاً «برنامه‌ریزی» می‌کند. یا این‌که مفهوم «کوچک بودن اندازه» برای مدل، فارغ از این‌که به فارسی بپرسید یا انگلیسی یا چینی، در یک جای مشترک ذخیره شده است. چند روز پیش هم پژوهشگران ام‌آی‌تی نشان دادند که یک مدل پیشرفته می‌تواند مستقیماً وزن‌های یک مدل کوچک‌تر را بخواند و اصلاح کند که در نوشدارو هم در موردش گفتیم.

اما خود پژوهشگران تأکید می‌کنند که این ابزارها فقط بخش کوچکی از محاسبات مدل را می‌بینند و خودشان را به کالبدشناسان قرن‌های پیش تشبیه می‌کنند که تازه داشتند اولین طرح‌های خام مغز را می‌کشیدند. مدیر آنتروپیک این وضعیت را مسابقه‌ی دو منحنی می‌نامد: توانایی مدل‌ها به سرعت بالا می‌رود، ولی فهم ما از آنها با سرعت کمتری پیشرفت می‌کند و این می‌تواند خطرناک باشد. چون نمی‌دانیم پشت ذهن مدل هوش‌مصنوعی چه می‌گذرد. البته هدف شرکت‌های پیشرو این است که تا سال ۲۰۲۷ بتوانند حداقل بیشتر مشکلات یک مدل را از داخل تشخیص بدهند، اما آیا به نظرتان به موقع می‌رسند؟

تازه‌ترین مطالب

حکایت‌های کوتاه، حقیقت‌های بزرگ

در این بخش، به بررسی دقیق و جامع نشانه‌ها و رفتارهایی می‌پردازیم که ممکن است به کلاهبرداری آنلاین مرتبط باشند. شناخت این موارد می‌تواند به شما کمک کند.

ویدیو های بیشتر

منابع

  1. VentureBeat: Anthropic scientists expose how AI actually thinks
    https://venturebeat.com/ai/anthropic-scientists-expose-how-ai-actually-thinks-and-discover-it-secretly-plans-ahead-and-sometimes-lies
  2. ZME Science: An MRI for AI
    https://www.zmescience.com/ecology/world-problems/we-dont-know-how-ai-works-anthropic-wants-to-build-an-mri-to-find-out
  3. Could a Neuroscientist Understand a Microprocessor? (PLOS Comp Bio)
    https://pmc.ncbi.nlm.nih.gov/articles/PMC5230747
  4. Science News: fruit fly brain connectome
    https://www.sciencenews.org/article/fruit-fly-brain-connections-traced
  5. Sparks of Weight-Space Programming (MIT CSAIL)
    https://rikiyat.github.io/blog/weight-space-programming/