خبر و تحلیل راهنمای والدین
هوش مصنوعی علیه سوءاستفاده از هوش مصنوعی!

مقابله OpenAI با محتوای کودک‌آزاری؛ از تشخیص تصاویر جنسی تا قطع دسترسی کاربران متخلف

نویسندهدانیال طبایی
بازبینیشایان ضیایی
بازرسی کوچک از نیم‌رخ پشت میز نشسته و نوار نقاله‌ای عظیم از کارت‌های تصویری که تصاویر ساختگی و جعلی کودکان را نشان می‌دهند به سمت او سرازیر شده و مسیر را تقریباً مسدود کرده است، تصویرگر خطر فلج‌شدن فرایند بررسی در برابر حجم انبوه گزارش‌ها.
زمان مطالعه ۲ دقیقه
صحت سنجی شده

این محتوا پیش از انتشار، از نظر علمی و صحت اطلاعات بررسی شده است.

اصول و سیاست تحریریه(در زبانه جدید باز می‌شود)
نویسندهدانیال طبایی
بازبینیشایان ضیایی

ابزارهای هوش مصنوعی ساخت هر تصویری را آسان کرده‌اند؛ اما این قابلیت یک پیامد تاریک هم داشته است: تولید انبوه تصاویر ساختگیِ سوءاستفاده جنسی از کودکان.

سرازیر شدن صدها هزار گزارش از این نوع محتوا به سامانه‌های حمایتی، آن‌ها را با بحرانی بی‌سابقه روبه‌رو کرده است. از آنجا که تک‌تک این گزارش‌ها باید توسط انسان بررسی شوند، این حجم عظیم از اطلاعات صف بررسی‌ها را طولانی کرده و روند رسیدگی به پرونده‌ها و کمک به قربانیان کُند شده است.

فقط در آمریکا، تعداد گزارش‌های مرتبط با هوش مصنوعی از ۶۷ هزار مورد در سال ۲۰۲۴ به بیش از ۴۰۰ هزار مورد در سال ۲۰۲۵ رسیده است.

برای مدیریت این بحران، شرکت اوپن‌ای‌آی ابزار جدیدی را به‌رایگان در اختیار نهادهای حمایتی، تیم‌های ایمنی پلتفرم‌ها و واحدهای مجاز پلیس قرار داده است. این سامانه قرار نیست خودش درباره تصاویر تصمیم نهایی بگیرد؛ بلکه با امتیازدهی به «احتمال وجود آزار» و «احتمال ساختگی‌بودن تصاویر»، به کارشناسان کمک می‌کند موارد مهم‌تر را زودتر بررسی کنند.

آزمایش داخلی این ابزار نشان می‌دهد که توانسته تقریباً همان تعداد تصویر آزاردهنده را شناسایی کند، اما حجم مواردی را که برای بررسی انسانی علامت‌گذاری می‌شوند، ۴۸ درصد کاهش دهد. به این ترتیب کارشناسان می‌توانند وقت کمتری صرف بررسی موارد کم‌اهمیت‌تر کنند و زودتر به گزارش‌های مهم برسند.

هم‌زمان، اوپن‌ای‌آی محدودیت تازه‌ای هم برای چت‌جی‌پی‌تی در نظر گرفته است.

اگر کاربری تلاش کند این نوع محتوای ممنوعه را جست‌وجو یا تولید کند، گفت‌وگویش حذف و دسترسی او به چت‌جی‌پی‌تی برای ۲۴ ساعت متوقف می‌شود.

در این مدت، منابع تخصصی برای کمک به توقف این رفتار در اختیارش قرار می‌گیرد. تکرار تخلف هم ممکن است به محرومیت طولانی‌تر، بسته‌شدن حساب یا گزارش به مراجع قانونی منتهی شود.

تازه‌ترین مطالب

ویدیوهای نوشدارو

ویدیو های بیشتر
مشاهده همه ویدئوها

حکایت‌های کوتاه، حقیقت‌های بزرگ

در این بخش، به بررسی دقیق و جامع نشانه‌ها و رفتارهایی می‌پردازیم که ممکن است به کلاهبرداری آنلاین مرتبط باشند. شناخت این موارد می‌تواند به شما کمک کند.

ویدیو های بیشتر

منابع

  1. theverge
    https://www.theverge.com/policy/1034527/openai-csam-classifier