دستیار هوش مصنوعی «کلود» قرار بود بهرهوری تیم شرکت «پاکتاواس» (PocketOS) را بالا ببرد؛ اما با یک تصمیم اشتباه، کل پایگاه داده و نسخههای پشتیبان این شرکت را تنها در ۹ ثانیه برای همیشه پاک کرد! این اتفاق زنگ خطر جدی برای کسبوکارها و کاربرانی است که اتکای کامل بر سیستمهای خودکار دارند.
تصمیم خودسرانه برای رفع یک خطا
پلتفرم «پاکتاواس» که سرویسی برای کسبوکارهای اجاره خودرو است، از ابزار برنامهنویسی هوش مصنوعی «کرسر» (Cursor)، مجهز به مدل زبانی «کلود اوپوس ۴.۶» (Claude Opus)، استفاده میکرد. این هوش مصنوعی حین انجام عملیاتی ساده در محیط آزمایشی با خطا روبهرو شد؛ اما فاجعه زمانی رقم خورد که برای رفع مشکل، خودسرانه و بدون اخذ هیچ مجوزی از ناظران انسانی، یکی از فضاهای ذخیرهسازی را به طور کامل حذف کرد.
جالب اینجاست که خود هوش مصنوعی پس از این فاجعه اعتراف کرد که به جای مطالعه مستندات و اطمینان از عملکرد خود، صرفاً «حدس زده» و دستور مخربی را به اجرا درآورده!
این اشتباه مهلک مدیران شرکت را مجبور کرد دادهها را به صورت دستی و از طریق بررسی تکتک ایمیلها بازیابی کنند. خوشبختانه وجود یک نسخه پشتیبان مجزا مربوط به ۳ ماه پیش از نابودی کامل کسبوکار جلوگیری کرد.
زنجیرهای از اشتباهات زیرساختی
مقصر فقط هوش مصنوعی نیست. شرکت ارائهدهنده زیرساخت ابری (به اسم Railway) هم در این بحران نقش مهمی داشت. سیستم این شرکت به گونهای طراحی شده که امکان اجرای دستورات مخرب را بدون نیاز به تایید نهایی کاربر مهیا میکند.
ضعف بزرگتر این بود که نسخههای پشتیبان دقیقاً در همان فضایی ذخیره میشدند که دادههای اصلی قرار داشتند؛ در نتیجه با یک دستور اشتباه، اطلاعات اصلی و فایلهای پشتیبان به طور همزمان و غیرقابلبازگشت تنها در ۹ ثانیه نابود شدند.
در آخر؛ درسی برای امنیت دادهها
این حادثه نشان داد که استفاده از عاملهای هوش بدون تعیین محدودیت، تا چه حد میتواند خطرناک باشد. برای کاهش ریسک باید:
- دسترسی APIها و ابزارهای خودکار را محدود کرد.
- عملیات حذف اطلاعات نیازمند تأیید چندمرحلهای باشد.
- مسیر بازیابی اضطراری از قبل آزمایش شده باشد.
مهمتر از همه نسخه پشتیبان اطلاعات باید در فضایی مجزا از نظر فیزیکی و سطح دسترسی نگهداری شود تا با یک خطای نرمافزاری از بین نرود!
