یکی از ضعف‌های رایج چت‌بات‌های هوش مصنوعی این است که گاهی زیادی مودب‌اند. مثلاً نظریه‌ای عجیب مطرح می‌کنیم، برداشتی اشتباه از یک رابطه داریم و یا در شرایط روحی نامناسب چیزی می‌گوییم و چت‌بات به‌جای اینکه کمی ترمز بگیرد، همان مسیر را ادامه می‌دهد و تاییدمان می‌کند. به این رفتار هوش مصنوعی، Sycophancy می‌گویند؛ همان «بله‌قربان‌گویی» خودمان!
حالا OpenAI می‌گوید که در مدل‌های جدیدش به‌طور جدی روی کاهش همین رفتار تمرکز کرده است. آزمایش‌های این شرکت نشان می‌دهند که مدل GPT-5 در قیاس با GPT-4o، حدود ۶۹ درصد پاسخ چاپلوسانه‌ی کمتر برای کاربران رایگان و ۷۵ درصد کمتر برای کاربران پولی تولید می‌کند.
چرا «موافقت دائمی» خطرناک است؟
مشکل فقط این نیست که چت جی‌پی‌تی زیادی با ما راه می‌آید. در گفتگوهای طولانی درباره بدبینی شدید، توهم، بحران عاطفی یا خودآسیبی، تأیید بی‌دلیل حرف کاربر می‌تواند وضعیت را وخیم‌تر کند.
این نگرانی بعد از چند پرونده جدی بیشتر هم شد. تاکنون دست‌کم ۱۳ شکایت حقوقی علیه OpenAI مطرح شده که در آن‌ها خانواده‌ها یا شاکیان، گفتگو با ChatGPT را به آسیب‌های روانی یا حوادث مرگبار مرتبط دانسته‌اند.
روان‌شناس‌ها هم ChatGPT را امتحان می‌کنند
اوپن ای‌آی سال گذشته برای بهبود پاسخ‌ها در موقعیت‌های حساس با بیش از ۱۷۰ متخصص سلامت روان همکاری کرده است. این متخصصان بیش از ۱۸۰۰ پاسخ مدل در موقعیت‌های روانی خطرناک را بررسی کردند. این شرکت بعداً یک معیار جداگانه به نام MentalHealthBench هم با همکاری بیش از ۸۰ متخصص از ۲۲ کشور ساخت که عملکرد مدل‌ها را در موقعیت‌های حساس می‌سنجد.
هدف صرفاً این نیست که چت‌بات در برابر جملات مربوط به خودکشی یا بحران‌های روانی یک هشدار آماده نمایش دهد. اوپن ای‌آی با آزمایش‌های داخلی خود بررسی می‌کند که آیا مدل می‌تواند:
- تشخیص دهد کاربر واقعاً در وضعیت خطرناک است یا نه؛
- به‌جای تأیید بی‌دلیل، سوال درست بپرسد؛
- در زمان مناسب کاربر را به دریافت کمک انسانی تشویق کند؛
- و حتی در مشکلات روزمره (مثل اختلاف عاطفی) هر روایت یک‌طرفه‌ای را فوراً تایید نکند.
مثلاً اگر کاربر بگوید «همه همکارهایم علیه من توطئه کرده‌اند»، پاسخ خوب این نیست که بگوید: «دقیقاً! از اول هم معلوم بود!».
پژوهش‌های مستقل هم بهبود را تایید می‌کنند
این فقط ادعای خود OpenAI نیست. پژوهشگران مستقل هم در آزمایش‌ها و گفتگوهای طولانی، GPT-5.2 Instant را در گروه مدل‌هایی قرار دادند که نسبت به GPT-4o رفتار کم‌خطرتر و ایمن‌تری داشتند.
در یک پژوهش بزرگ‌تر هم بیش از ۵۰ هزار گفتگوی شبیه‌سازی‌شده (شامل بیش از یک میلیون پیام و ۷۷ مدل مختلف) بررسی شد. در این آزمایش، مدل‌های جدید بسیار کمتر از نسل‌های قدیمی افکار هذیانی یا «مانیا» را تقویت می‌کردند: بسته به مدل، این رفتار در حدود ۲ الی ۳۶ درصد گفتگوهای مرتبط دیده شد، در حالی که در بعضی مدل‌های قدیمی مثل GPT-4o این رقم در محدوده ۶۹ تا ۸۲ درصد قرار می‌گرفت.
البته هنوز هم جای بهبود وجود دارد. همین پژوهش نشان می‌دهد حتی مدل‌های جدید هم در بعضی موقعیت‌های مبهم یا گفتگوهای طولانی ممکن است پاسخ نامناسب بدهند.
چرا این تغییر مهم است؟
چت جی‌پی‌تی در حال حاضر نزدیک به یک میلیارد کاربر در هفته دارد. در چنین مقیاسی، اینکه یک چت‌بات چه زمانی با شما موافقت کند و چه زمانی محترمانه بگوید «شاید ماجرا آن‌طور که فکر می‌کنی نباشد»، دیگر فقط جزییاتی در طراحی محصول نیست؛ یکی از ضروریات است.
هوش مصنوعی خوب قرار نیست همیشه طرف شما را بگیرد؛ همان‌طور که یک دوست خوب هم قرار نیست هر بار بگوید «کاملاً حق با توست». پیشرفت واقعی شاید همین باشد: این که چت‌بات بداند چه زمانی همراهی کند، چه زمانی سوال بپرسد و چه زمانی بگوید «این موضوع تخصص من نیست!» و شما را به یک انسان واقعی ارجاع دهد.
آدرس مطلب: https://nooshdaroo.ir/news-opinion/chatgpt-sycophancy-update/
