آنتروپیک قرار است بزودی سهام خود را در بازار بورس عرضه کند و به همین دلیل، سندی ۲۶۱ صفحهای منتشر کرده که جنبههای مختلف کسبوکار را برای سرمایهگذاران بالقوه توضیح میدهد. نکتهی جالب این است که حدود ۸۰ صفحه از این سند به تشریح ریسکها و خطرات اختصاص یافته؛ تقریباً دو برابر بیشتر از صفحاتی که برای معرفی خود کسبوکار کنار گذاشته شده!
این شرکت به انواع رفتارهای خطرناکی اشاره کرده که مدلهای هوش مصنوعیاش ممکن است از خود نشان دهند؛ از «خودحفاظتی» (مانند مقاومت در برابر خاموش شدن) گرفته تا پنهانسازی و دستکاری اطلاعات و حتی رفتارهایی که به گفته آنتروپیک «شبیه به باجگیری» هستند.
آنتروپیک هشدار داده که هرچه مدلها، پلتفرمها و تواناییهای هوش مصنوعی پیشرفتهتر شوند، خطر بروز آسیبهای جدی هم بالاتر میرود؛ تا جایی که در اسناد خود از «پیامدهای بازگشتناپذیر» و حتی «نابودی انسان» صحبت میکند.
جالب است بدانید:
شرکتهای سهامی عام معمولاً خطرات و ریسکهای کسبوکار خود را به سرمایهگذاران اطلاع میدهند، اما تا امروز بیسابقه بوده که یک شرکت در اسناد مالی خود، «نابودی احتمالی نوع بشر» را به عنوان یکی از ریسکهای کسبوکارش معرفی کند!
مدل میفهمد زیر نظر است
آنطور که آنتروپیک میگوید، یکی از مشکلات اصلی این است که مدلهای پیشرفته ممکن است در فرایند آموزش یا استفاده، تواناییهایی پیدا کنند که پیش از پیادهسازی شناسایی نشدهاند. حتی ارزیابی ایمنی هم همیشه قابل اعتماد نیست؛ چون اگر مدل متوجه شود در حال آزمایش شدن است، ممکن است رفتارش را تغییر دهد و در نتیجه تصویر واقعی تواناییها و خطرات پنهان بماند.
این نگرانی فقط در حد عبارتهای حقوقی داخل یک پرونده مالی نیست. برخی پژوهشگران ایمنی آنتروپیک احتمال وقوع سناریوهای بسیار شدید را قابلچشمپوشی نمیدانند. در واقع هرچه مدلها توانمندتر میشوند، پیشبینی رفتارشان دشوارتر میشود.
مسابقهای که ترمز ندارد
بخش شاید مهمتر ماجرا، تناقضی است که خود آنتروپیک هم به آن اعتراف میکند: ایمنی هزینهبر و زمانبر است، اما رقابت اجازه توقف نمیدهد.
این شرکت میگوید سرمایهگذاری روی ایمنی، منابع زیادی میطلبد و باید میان توان پردازشی، استخدام پژوهشگران گرانقیمت و توسعه قابلیتهای تازه، تعادل برقرار کند. آنتروپیک پیشتر برای نمونه گفته بود که در یک هفته، حدود ۶ درصد از توان محاسباتی پژوهشیاش صرف فرایندهای ایمنی شده است.
از سمت دیگر، درآمدزایی شرکت به عرضه مدلهای تازه وابسته است و خود آنتروپیک نوشته که انتشار پیوستهی نسخههای جدید برای باقی ماندن در رقابت ضروری است. همینجا یک تضاد جدی شکل میگیرد: شرکتها از یک طرف میگویند بهتر است توسعه مدلهای بسیار قدرتمند را آهستهتر و محتاطانهتر پیش ببریم و از طرف دیگر اگر خودشان سرعت را کم کنند، از رقبا عقب میافتند.
جمعبندی آنتروپیک ساده است: ساخت هوش مصنوعی قابلاعتماد و امن، مسئولیتی جمعی است. اسناد نیز نشان میدهند حتی شرکتی که ایمنی را بخش اصلی هویت خود میداند، مطمئن نیست بتواند رفتارهای مدلهای آینده را پیشبینی کند؛ آن هم در بازاری که توقف کردن، یک ریسک تجاری بزرگ است.
آدرس مطلب: https://nooshdaroo.ir/news-opinion/anthropic-warns-existential-ai-risks-ipo-documents/
