نگرانی از اینکه ماشین‌ها روزی از انسان باهوش‌تر شوند و از کنترل خارج شوند، تقریباً به قدمت خود هوش مصنوعی است. در موج جدید این فناوری هم ایلان ماسک در سال ۲۰۱۴ هوش مصنوعی را احتمالاً بزرگ‌ترین تهدید وجودی بشر خواند، سم آلتمن در سال ۲۰۱۵ از احتمال پایان جهان گفت و داریو آمودی در سال ۲۰۱۷ هشدار داد که ابرهوش می‌تواند بشریت را نابود کند.
آن زمان این حرف‌ها بیشتر شبیه داستان‌های علمی‌تخیلی به نظر می‌رسیدند؛ اما اکنون بعضی از سازندگان این فناوری می‌گویند خطر نزدیک‌تر شده است. جیکوب کاکسون، پژوهشگری که سه سال در اوپن‌ای‌آی و آنتروپیک روی آموزش مدل‌ها کار کرده بود، چند روز پیش استعفا داد و در پستی در شبکه اجتماعی ایکس نوشت: «کسانی که هوش مصنوعی را می‌سازند، صادقانه باور دارند ممکن است تا پایان این دهه همه ما را بکشد.»
مدل‌های هوش مصنوعی که تا دو سال پیش گاهی حتی در شمردن تعداد حرف «R» در کلمه strawberry اشتباه می‌کردند، اکنون به مرز حل مسائل بزرگ علمی رسیده‌اند. هم‌زمان، بعضی ایجنت‌های هوش‌مصنوعی در آزمایش‌های امنیتی از محدوده مأموریت خود عبور کرده‌اند. کنار هم قرارگرفتن این توانایی چشمگیر و رفتار پیش‌بینی‌نشده، نگرانی اصلی را می‌سازد: اگر هوش مصنوعی قدرتمند شود، اما نتوانیم مهارش کنیم، چه اتفاقی می‌افتد؟
