خبر و تحلیل ابزارها و افزونه‌ها

«کلود فیبل ۵» عرضه شد؛ نسخه‌ی ایمن هوش مصنوعی خطرناک آنتروپیک!

وقتی قدرت AI مهار می‌شود
عدد ۵ که از کنار هم نشستن ده‌ها پروانه شکل گرفته است
شایان ضیایی، نویسنده نوشدارو
شایان ضیایی
زمان مطالعه ۲ دقیقه
بازبینی: تیم نوشدارو
صحت سنجی شده

شرکت «آنتروپیک» نسخه‌ی عمومی یکی از قدرتمندترین مدل‌های هوش مصنوعی خود را منتشر کرد؛ مدلی به نام «کلود فیبل ۵» (Claude Fable 5) که از همان خانواده‌ای می‌آید که چند ماه پیش خود شرکت گفته بود انتشار عمومی آن می‌تواند خطرناک باشد!

نگرانی اصلی، توانایی‌های پیشرفته این مدل در حوزه‌هایی مثل امنیت سایبری، زیست‌شناسی و شیمی بود؛ حوزه‌هایی که پاسخ‌های دقیق و قدرتمند در آن‌ها می‌تواند هم به پژوهشگران و مدافعان امنیت کمک کند، هم در دست افراد خرابکار خطرساز شود.

داستان از هوش مصنوعی دیگری به نام «کلاود میتوس» (Claude Mythos) شروع شد؛ مدلی که آنتروپیک آن را عرضه‌ی عمومی نکرد و فقط در اختیار گروه محدودی از متخصصان امنیت و شرکای مورد اعتماد (مانند گوگل و انویدیا) گذاشت. دلیل این محدودیت روشن بود: چنین مدلی می‌توانست در پیدا کردن آسیب‌پذیری‌های نرم‌افزاری، تحلیل حملات و رسیدگی به امور پیچیده امنیتی بسیار قدرتمند ظاهر شود. حالا آنتروپیک می‌گوید نسخه عمومی همین خانواده، یعنی فیبل ۵، با لایه‌های محافظتی تازه از راه رسیده و به اندازه کافی برای استفاده عمومی ایمن شده است.

تدابیر محافظتی دقیقاً چه کار می‌کنند؟

اگر کاربر درخواست‌های حساسی راجع به حمله سایبری، زیست‌شناسی پرخطر، شیمی یا تلاش برای استخراج توانایی‌های مدل برای فیبل ۵ بفرستد، سیستم اجازه نمی‌دهد خود مدل اصلی پاسخ بدهد. در این موارد، درخواست به مدلی محدودتر و امن‌تر منتقل می‌شود یا اصلاً کل پاسخ مسدود می‌شود.

خود آنتروپیک می‌گوید این تدابیر محافظتی محتاطانه تنظیم شده‌اند و ممکن است بعضی درخواست‌های بی‌خطر را هم به اشتباه حساس تشخیص دهند. از طرف دیگر، همیشه این پرسش باقی می‌ماند که آیا می‌توان جلوی دور زدن چنین تدابیری را کاملاً گرفت یا نه. ابزارهای AI بسیار قدرتمند کم‌کم دارند در اختیار عموم قرار می‌گیرند، اما شرکت‌ها هنوز مشغول پیدا کردن پاسخ این پرسش‌اند که چطور می‌شود توانایی‌های هوش مصنوعی را به دست عموم رساند، بدون اینکه همان توانایی‌ها به ابزار سوءاستفاده تبدیل شوند…

بازبینی: تیم نوشدارو

تازه‌ترین مطالب

مطالب پرنگاه

ویدیوهای نوشدارو

ویدیو های بیشتر
مشاهده همه ویدئوها

حکایت‌های کوتاه، حقیقت‌های بزرگ

در این بخش، به بررسی دقیق و جامع نشانه‌ها و رفتارهایی می‌پردازیم که ممکن است به کلاهبرداری آنلاین مرتبط باشند. شناخت این موارد می‌تواند به شما کمک کند.

ویدیو های بیشتر

منابع

  1. Anthropic
    https://www.anthropic.com/news/claude-fable-5-mythos-5
  2. Mashable
    https://mashable.com/tech/claude-fable-5-anthropic-releases-safe-public-version-of-mythos