یادگیری از نابرابری؛ آیا هوش مصنوعی بی‌طرف است؟

کامپیوترها اغلب به عنوان ابزارهایی بی‌طرف و کاملا منطقی در نظر گرفته می‌شوند؛ ابزارهایی که تصمیم‌هایشان بر پایه‌ی منطق و داده است و نه احساسات و سوگیری‌های انسانی. این پیش‌فرض باعث شده اغلب مردم کامپیوترها را بی‌طرف به حساب آورند و به قضاوت‌های آن باور داشته باشند. این موضوع باعث شده تا زیر اغلب پست‌های شبکه‌ی اجتماعی ایکس (یا همان توییتر سابق) کاربران از هوش مصنوعی Grok برای صحت‌سنجی محتوا استفاده کنند. خیلی‌های دیگر هم برای استدلال به پاسخ‌های چت جی‌پی‌تی استناد می‌کنند و حتی قضاوت در عرصه‌های گوناگون (از خرید روزمره گرفته تا سیاست) را به ابزارهای مبتنی بر هوش مصنوعی می‌سپارند.

اما در عمل، الگوریتم‌ها از داده‌های تولید شده توسط انسان‌ها تغذیه می‌شوند. این داده‌ها‌ی ورودی هم مانند ذهن انسان می‌توانند آلوده به تبعیض و تعصب باشند و در جنبه‌های مختلف، خروجی را دچار جهت‌گیری کنند. در واقع نه‌تنها این ماشین‌ها لزوماً بی‌طرف نیستند، بلکه اغلب تصویری از عمیق‌ترین سوگیری‌های جامعه‌ی انسانی ارائه می‌کنند. در این یادداشت از سری مقالات زنان و فناوری نوشدارو، به بررسی سوگیری جنسیتی (Gender Bias) در این ماشین‌ها و خطرات آن برای عدالت اجتماعی می‌پردازیم.

سوگیری انسانی، اولین عامل آلودگی

برای درک این‌ که الگوریتم‌ها چگونه به سوگیری آلوده می‌شوند، کافی‌ست نگاهی دقیق‌تر به جوامع انسانی بیاندازیم. هوش مصنوعی از دل همین جوامع برخاسته و براساس داده‌های آن‌ها آموزش می‌بیند؛ داده‌هایی که بازتاب‌دهنده‌ی تبعیض‌ها، نابرابری‌ها و پیش‌داوری‌های ساختاری در طول چندین قرن‌ است.

طبیعی است که جامعه‌ای با چنین سابقه‌ای نتواند ساختارهای عادلانه را به الگوریتم‌ها آموزش دهد. با اینکه در سال‌های اخیر پیشرفت‌هایی در مسیر عدالت حاصل شده، اما فعالان اجتماعی هنوز هم برای احقاق حقوق زنان، رنگین‌پوستان، افراد کم‌توان و سایر اقلیت‌ها تلاش می‌کنند. بنابراین وقتی که الگوریتم‌ها با داده‌هایی آموزش می‌بینند که حامل همین نابرابری‌ها هستند، تبعیض‌ها و کلیشه‌ها وارد فرآیند آموزش ماشین می‌شوند و آن را آلوده می‌کنند. سیستم‌های «هوش مصنوعی» و «یادگیری ماشین» از داده‌هایی که در اختیارشان قرار گرفته می‌آموزند، بنابراین اگر این داده‌ها منعکس‌کننده‌ی کلیشه‌ها یا کمبودهای موجود باشند، هوش مصنوعی هم مانند ذهن خام یک کودک همان‌ها را یاد می‌گیرد.

یک مثال قابل توجه از این کمبودها را می‌توان در سیستم‌های تشخیص چهره (Facial Recognition System) دید. بر اساس مطالعه‌ای که طی سال ۲۰۱۸ و با عنوان «Gender Shades» در آزمایشگاه رسانه‌ای MIT انجام شد، میزان خطای این سیستم‌ها برای مردانی که پوست روشن دارند، ۰.۸ درصد است. این در حالی است که این میزان برای زنانی که پوست تیره دارند به ۳۴.۷٪ می‌رسد.

این سیستم‌ها در تشخیص جنسیت کاربران زن هم خطای بالایی داشتند. علت این موضوع، نابرابری در مجموعه داده‌های آموزشی بود؛ داده‌های آموزشی حاوی ۷۷٪ مرد و ۸۳٪ انسان سفیدپوست بودند، بنابراین سیستم یاد گرفت که کاندیداهای «مرد سفید پوست» ترجیح دهد و به آن‌ها به چشم استاندارد پیش‌فرض در سیستم‌ها نگاه کند.

این موضوع به معنای ناتوانی فنی هوش مصنوعی نیست، بلکه نشان‌دهنده‌ی کم‌توجهی ساختارمند به تنوع داده‌هاست. در واقع چون داده‌های مربوط به زنان و رنگین‌پوستان کمتر است، هزینه‌ی گردآوری داده و آموزش مدل‌ها برای این گروه‌ها بالاتر می‌رود.

بسیاری از شرکت‌ها برای کاهش هزینه یا تسریع عرضه‌ی محصول، از سرمایه‌گذاری در این بخش صرف نظر می‌کنند؛ تصمیمی که در ظاهر جنبه اقتصادی دارد، اما در عمل، سوگیری را بازتولید می‌کند. شاید در نگاه نخست چنین نابرابری‌هایی بی‌اهمیت و یا خطای آماری به‌نظر می‌رسند، اما پیامدهای آن در مقیاس اجتماعی بسیار گسترده‌تر است. وقتی مردم در خدمات عمومی، بانک، فرایند استخدام یا درمان پزشکی تعامل ناعادلانه با یک سیستم دارند، دیگر نمی‌توان این اتفاق را فقط یک خطای فنی دانست. این نوع رفتار در واقع شکلی از تبعیض خودکار (Automated Discrimination) است که عدالت و برابری در جامعه را تهدید می‌کند.

بازتاب نابرابری در آینه‌ی دیجیتال

اما تنها مسئله‌ی تاثیر گذار، نبود تنوع در داده‌ها نیست. همان‌طور که در یادداشت «فرهنگ برادری در فناوری» اشاره کردیم، تیم‌هایی که تنوع جنسیتی و نژادی پایین‌تر دارند، معمولا محصولی ارائه می‌کنند که به نیازهای کمتری پاسخ می‌دهند.

صنعت فناوری و دنیای هوش مصنوعی همچنان محدود به اقلیت مردانه و سفید پوست غربی است. نبود تنوع در تیم‌های تولید محصول سبب می‌شود بسیاری از چالش‌های مرتبط با اقلیت‌ها یا زنان اصلاً مطرح نشوند. نمونه‌ی قابل توجه‌ این مسئله، تجربه‌ی جوی بوالاموینی (Joy Buolamwini)، پژوهشگر MIT، است. او در کتاب Unmasking AI اشاره می‌کند که هنگام کار روی نرم‌افزارهای تشخیص چهره، متوجه شد این نرم‌افزار حتی صورت خودش را هم تشخیص نمی‌دهد.

اگر او به عنوان یک زن رنگین پوست در این پروژه حضور نداشت، احتمالاً هیچ‌کس متوجه این مشکل نمی‌شد. او در همین راستا در بخشی از کتاب خود می‌گوید: «پیش‌فرض‌های (هوش مصنوعی) بی‌طرفانه نیستند؛ آن‌ها معمولاً بازتابگر دیدگاه‌های هستند که علایق و اولویت‌های افراد صاحب قدرت را نشان می‌دهند.»

ک آینه گرد روی پایه فلزی را نشان می‌دهد که روی یک سطح سفید قرار گرفته است و تصویر مبهم یک دختر در اینه است. در کنار آینه، یک ظرف شیشه‌ای با طرح‌هایی روی آن و یک گیاه کوچک سبزرنگ دیده می‌شود.

عدم شمول در صنعت فناوری به تثبیت کلیشه‌های جنسیتی و نژادی کمک می‌کند. اگر بخواهیم خلاصه بگوییم، وقتی طراحان یک سیستم خودشان متنوع نیستند، نقاط کور آن‌ها می‌تواند به نقاط کور هوش مصنوعی تبدیل شود.

پس مشکل سوگیری در هوش مصنوعی نه از بد بودن تکنولوژی، بلکه از بازتاب دادن همان الگوهای نابرابری است که در جامعه وجود دارد. در واقع آن‌چه هوش مصنوعی به ما ارائه می‌دهد، آیینه‌ای است از هر آن چیزی که ما انسان‌ها به عنوان حقیقت آموخته‌ایم. پس اگر داده‌های ما بازتابی از نابرابری باشند، الگوریتم‌ها هم آینده‌ای ناعادلانه‌تر رقم خواهند زد.

بسیاری تصور می‌کنند نابرابری‌هایی که درباره‌ آن‌ها صحبت می‌شود، سناریوهایی دور از واقعیت است که سال‌ها تا تحقق آن‌ها فاصله داریم. اما واقعیت این است که همین حالا در میانه‌ی همان آینده‌ای زندگی می‌کنیم که سال‌ها پیش پیش‌بینی‌اش می‌کردیم.

حتی پیش از آن‌که شرکت‌هایی مانند OpenAI یا گوگل، انواع چت‌بات‌ها و مدل‌های زبانی را به دست عموم مردم برسانند، از ابزارهای هوش مصنوعی و اتوماسیون در حوزه‌های گوناگون استفاده می‌شد. این سیستم‌ها تصمیم‌هایی می‌گیرند که به طور مستقیم بر زندگی انسان‌ها اثر می‌گذارند؛ از ارزیابی رزومه و صلاحیت متقاضیان کار گرفته تا تشخیص چهره‌ی افراد در فرودگاه‌ها، پیش‌بینی وضعیت بیماران و حتی تعین امتیاز بانکی برای دریافت وام.

به همین دلیل، مسئله‌ی سوگیری الگوریتمی دیگر صرفا یک تئوری نیست و به واقعیتی تبدیل شده که در ساختارهای تصمیم‌گیری ما نفوذ کرده است. خطر نابرابری الگوریتمی دیگر فقط مربوط به آینده‌ای دور نیست، بلکه همین حالا هم به جریان افتاده و رد پایش را در تصمیماتی می‌بینیم که بدون حضور انسان گرفته می‌شوند، اما مسیر زندگی میلیون‌ها نفر را تغییر می‌دهند.

خطا در زبان

سوگیری مدل‌های هوش مصنوعی در زبان انسانی، اولین خطای قابل تشخیص در سیستم‌هاست. مدل‌های پردازش زبان طبیعی یا به اصطلاح NLPها (Natural Language Processing) با مقادیر عظیمی از متون تولید شده به دست انسان‌ها آموزش می‌بینند.

این موضوع باعث می‌شود مدل‌ها کلیشه‌های فرهنگی زبان‌ها را نیز به ارث ببرند و نقش‌های جنسیتی منسوخ‌شده در زبان را تقویت کنند. یکی از پیامدهای این مسئله را می‌توان در ابزارهای ترجمه‌ای چون گوگل ترنسلیت به خوبی مشاهده کرد. این ابزارها در ترجمه‌ی زبان‌هایی که از نظر جنسی خنثی هستند (مثل فارسی)، سوگیری جنسیتی نشان می‌دهد. این الگوریتم‌ها، مشاغل و ویژگی‌های عمدتاً مثبت را به ضمایر مذکر نسبت می‌دهند. برای مثال صفت «سخت‌کوش» به‌صورت پیش‌فرض به He نسبت داده می‌شود. این در حالی است که نقش‌های کلیشه‌ای و ویژگی‌های منفی به ضمایر مونث نسبت داده می‌شوند؛ برای مثال مشاغل و صفت‌هایی همچون «پرستار» یا «تنبل» به She نسبت داده می‌شوند.

در این سیستم‌ها، هسته‌ی مدل‌ها یا آن‌چه که به عنوان «دگرنمایی واژه» (Word Embedding) شناخته می‌شود، روابط معنایی بین کلمات زبان را ثبت و سوگیری‌های اجتماعی را کدگذاری می‌کند. این الگوریتم‌ها به طور مستقیم یه قیاس‌های جنسیتی (مانند مثال‌هایی که بالاتر آوردیم) تمایل نشان می‌دهند.

همچنین الگوریتم‌ها به طور مداوم اسامی مردانه را با کلمات مرتبط با شغل و اسامی زنانه را با کلمات مرتبط با خانواده مرتبط می‌کنند. در نمونه‌ای دیگر، قابلیت Smart Compose سرویس جیمیل هنگام تایپ جمله‌ی «من هفته‌ی آینده با یک سرمایه‌گذار ملاقات دارم»، ضمیر مذکر پیشنهاد می‌داد. راه‌حل گوگل در آن زمان برطرف کردن این سوگیری نبود، بلکه ویژگی پر کردن خودکار را برای ضمایر جنسیتی غیرفعال کرد و به این ترتیب صورت مسئله پاک شد.

نابرابری اقتصادی و حرفه‌ای

کاربرد ابزارها و تکنولوژی‌های اتوماسیون در صنایع حرفه‌ای و تصمیم‌گیری‌های اقتصادی، هر روز بیش‌تر از دیروز افزایش پیدا می‌کند. تصمیم‌هایی که اگر سوگیرانه باشند، می‌توانند مسیرهای تازه‌ای برای تبعیض اقتصادی علیه زنان ایجاد کنند. شاید مهم‌ترین تبعیض این سیستم، مربوط به روند استخدام هوشمند باشد.

یکی از مثال‌های قابل توجه را می‌توان در فرآیند استخدام شرکت «آمازون» دید. این شرکت یک ابزار استخدام هوشمند توسعه داده بود که با استفاده از آرشیو ده ساله رزومه‌های ارسال‌شده برای شرکت آموزش دیده بود. عمده این رزومه‌ها را مردان ارسال کرده بودند. این سیستم یاد گرفته بود که در حوزه‌ی تکنولوژی و امور فنی، مرد بودن برابر با موفقیت در استخدام است و به طور سیستماتیک رزومه‌های مربوط به زنان را جریمه می‌کرد. حتی به رزومه‌هایی که عبارات یا ضمایر زنانه داشتند امتیاز پایین‌تری می‌داد و فارغ التحصیلان کالج‌های زنانه را در رتبه بندی پایین‌تری می‌گذاشت.

در واقع به واسطه‌ی سلطه‌ی تاریخی مردان در صنعت فناوری، که پیش‌تر در یادداشت «چرخش جنسیتی در دنیای نرم‌افزار» دلایل آن را بررسی کردیم، یادگیری باعث شد مدل استخدامی به سمت تبعیض سوق پیدا کند.

با وجود بهبودهای این ابزارها، مشکلات مشابه در ابزارهای امروزی نیز دیده می‌شوند. مطالعه‌ی دانشگاه واشنگتن در اکتبر ۲۰۲۴ نشان می‌دهد که در آزمایش سیستم‌های مدرنِ رتبه‌بندی رزومه، مدل‌های زبانی پیشرفته همچنان نام‌های مردهای سفیدپوست را به سایرین ترجیح می‌دهند؛ به طور میانگین، رزومه‌هایی با نام‌های مرتبط با افراد سفیدپوست ۸۵٪ مواقع در رتبه‌ی اول قرار می‌گرفتند، در حالی که نام‌های زنانه تنها ۱۱٪ مواقع انتخاب می‌شدند.

در آزمایشی دیگر، پژوهشگران مدرسه‌ی تجارت استنفورد از چت جی‌پی‌تی خواستند هزاران رزومه‌ی ساختگی برای زنان و مردان تولید کند. نتایج جالب توجه بود: عموم رزومه‌های زنان طوری نوشته شده بودند که گویی جوان‌تر و کم‌تجربه‌تر از مردانی با همان شرایط‌ هستند. در ادامه، زمانی که مدل همین رزومه‌ها را مورد ارزیابی قرار دادند، با وجود صلاحیت یکسان، بالاترین امتیاز به مردان مسن‌تر اختصاص می‌یافت. این در حالی بود که زنان مسن‌تر از سیستم کاریابی کنار گذاشته می‌شدند.

این موضوع علاوه بر سوگیری جنسی به ضرر زنان، نشان‌دهنده سن‌گرایی (Ageism) نیز هست. همان‌طور که میریام ووگل (Miriam Vogel)، یکی از مدیران اجرایی شرکت EqualAI، در توصیف رویکرد این ابزارها می‌گوید: «گویی چند دهه تلاش برای حقوق مدنی و برابری، تنها در چند خط کد پاک شده‌اند.»

تصویر یک الاکلنگ فلزی را نشان می‌دهد که دو کودک در دو طرف آن نشسته‌اند و دختربچه در قست پایین و پسربچه در قسمت بالا قراردارند. در پس‌زمینه، فضای باز یک پارک دیده می‌شود که شامل زمین چمن، درختان و افرادی است که در حال قدم زدن یا بازی کردن هستند.

اما این سوگیری تنها به فرایند استخدام محدود نمی‌شود و مشابه آن را در تبلیغات مربوط به کاریابی نیز می‌بینیم. در تحقیقی از سوی نهاد برابری فرانسه (Défenseur des Droits) نشان داده شد که الگوریتم سیستم تبلیغات فیسبوک به صورت غیرمستقیم، تبعیض را تشدید می‌کند.

این سیستم آگهی‌های شغل‌های فنی مانند «مکانیک» را بیشتر به مردان و آگهی‌های شغل‌های «مراقبتی» مانند مربی مهدکودک را بیشتر به زنان نشان می‌داد، حتی زمانی که خود کارفرما هیچ جنسیتی برای این شغل‌ها تعیین نکرده بود. در موردی دیگر، تبلیغات شغلی صنعت چوب به بیش از ۹۰٪ مردان و تبلیغات سرایداران به بیش از ۶۵٪ زنان ارائه شد. همچنین در یک تحقیق تجربی دیگر در سال ۲۰۱۹ (Lambrecht & Tucker) که به بررسی موقعیت‌های حوزه‌ی STEAM (علم، فناوری، مهندسی و ریاضیات) پرداخته است، مشخص شد که این پلتفرم به شکل غیرعادلانه‌ای، موقعیت‌های شغلی این حوزه را به مردان نشان می‌دهد.

«سیستم‌های هوش مصنوعی که از داده‌های آکنده از کلیشه‌ها آموزش می‌بینند، نه‌تنها سوگیری‌های جنسیتی را بازتاب می‌دهند، بلکه آن‌ها را تقویت نیز می‌کنند. این سوگیری‌ها می‌توانند فرصت‌ها و تنوع را در حوزه‌هایی چون تصمیم‌گیری، استخدام، اعطای وام و حتی صدور احکام قضایی محدود کنند.»

زینیا دل ویار (Zinnya del Villar) متخصص هوش مصنوعی در مصاحبه‌ای با نهاد زنان سازمان ملل

این دست از جهت گیری‌ها در در پلتفرم‌هایی که الگوریتم‌ها فرصت‌های شغلی و نرخ دستمزد را تعیین می‌کنند، و به‌طور کلی اقتصاد گیگ (Gig Economy) نیز مشاهده می‌شود. اقتصاد گیگ به نوعی از ساختار اقتصادی گفته می‌شود که در آن، کار به جای قراردادهای دائمی، به‌صورت پروژه‌ای، کوتاه‌مدت، انعطاف‌پذیر و مبتنی بر تقاضا انجام می‌شود. افراد به جای استخدام رسمی، به‌صورت فریلنسر، پیمانکار مستقل یا کارگر پلتفرمی فعالیت می‌‌کنند و فرصت‌های کاری توسط پلتفرم‌ها و الگوریتم‌ها تخصیص داده می‌شود.

در گزارشی از دانشگاه استنفورد، مشخص شد که زنان فعال در پلتفرمی مانند اوبر (Uber)، حدود ۷٪ درآمد کمتری از مردان دارند، حتی با وجود اینکه در بسیاری موارد، مدت بیشتری نیز کار می‌کنند. این شکاف لزوما به معنای وجود تبعیض مستقیم در الگوریتم نیست، بلکه نتیجه مجموعه‌ای از عوامل انسانی و رفتاری است. تعداد زنان فعال در این سیستم کمتر است و بسیاری از آن‌ها ترجیح می‌دهند در ساعات و مناطق امن‌تر فعالیت کنند که معمولا با تقاضای کمتر و کرایه‌های پایین‌تر همراه است.

هرچند الگوریتم به طور مستقیم جنسیت را در نظر نمی‌گیرد، اما این الگوهای رفتاری که خود ثمره‌ی نابرابری است، باعث می‌شود درآمد کم‌تر زنان به مرور در داده‌ها تثبیت و تکرار شود و در نهایت به شکاف درآمدی پایدار بدل گردد. در ادامه الگوریتم‌ها نیز با استناد به این داده‌ها، سوگیری را تشدید می‌کنند. در چنین محیطی، الگوریتم نقش رئیس را بازی می‌کند؛ یعنی تصمیم می‌گیرد چه کسی فرصت کاری دریافت کند و نرخ‌ها چگونه تعیین شوند.

دو دست دیده می‌شود که تعدادی اسکناس دلار را نگه داشته‌اند و یکی از اسکناس‌ها در حال جدا شدن است. زمینه تصویر تیره است و تمرکز اصلی روی دست‌ها و اسکناس‌ها قرار دارد.

در نمونه‌ای دیگر می‌توان به پلتفرم‌های «مارکت‌پلیس» مانند ای‌بی (eBay) نگاه کرد. در این پلتفرم، فروشندگان زن حتی زمانی که دقیقا همان محصول را با همان کیفیت و توضیحات ارائه می‌کنند، پیشنهادهای خرید (Bid) کمتری دریافت می‌کنند. این تفاوت در قیمت نهایی فروش هم دیده می‌شود. یعنی محصول یکسان با فروشنده زن معمولا با مبلغ پایین‌تری به فروش می‌رسد، حتی وقتی سابقه فروش و امتیازها برای زن و مرد کاملا برابر باشد.

در واقع خریداران معمولاً قیمت پایین‌تری به فروشندگان زن پیشنهاد می‌دهند. زنان برای فروش محصولات نوی مشابه، روی این بستر به طور میانگین به ازای هر یک دلار دریافتی فروشندگان مرد، حدود هشتاد سنت دریافت می‌کنند. این مسئله نشان می‌دهد که جهت‌گیری جنسیتی فقط در الگوریتم‌های رتبه‌بندی یا نمایش کالا نیست، بلکه در رفتار کاربران و شکل تعاملات بازارهای آزاد و آنلاین نیز بازتولید می‌شود. در چنین سیستمی حتی اگر پلتفرم ادعا کند فرآیند فروش بی‌طرف است، ترکیب الگوریتم و هنجارهای فرهنگی کاربران باعث می‌شود فروشندگان زن در موقعیتی نابرابر قرار بگیرند.

خدمات مالی نابرابر، به‌ویژه در زمینه تعیین اعتبار بانکی (Credit Score) و اعطای وام، یکی دیگر از حوزه‌های مهم است که الگوریتم‌های هوش مصنوعی می‌توانند سوگیری‌های اجتماعی موجود، به‌ویژه درباره جنسیت و نژاد، را تداوم ببخشند یا تشدید کنند. الگوریتم‌های هوشمند به‌ شکلی فزاینده برای خودکارسازی تصمیماتی مانند تعیین نرخ وام، حق بیمه و سقف اعتبار استفاده می‌شوند. با این حال، این سیستم‌ها می‌توانند نتایج تبعیض‌آمیز تولید کنند زیرا بر پایه داده‌های تاریخی آموزش دیده‌اند که حاوی سوگیری‌های جمعیتی قدیمی است.

یکی از نمونه‌های کلاسیک برای بررسی این موضوع، کارت‌های اعتباری «اپل» و «گلدمن ساکس» در ۲۰۱۹ است. پس از عرضه این کارت‌ها، بحث‌های زیادی درباره‌ی منصفانه بودن سیستم اعتباردهی آن شکل گرفت. به عنوان مثال دیوید هاینمایر (David Heinemeier Hansson)، برنامه‌نویس و خالق فریم‌ورک Ruby on Rails از افراد سرشناسی بود که در قالب یک رشته توییت به سیستم اعتباردهی این کارت‌ها اعتراض کرد.

او گزارش داد که سقف اعتباری کارت او ۲۰ برابر سقفی بود که همسرش دریافت کرده است؛ در حالی که همسرش هم نمره اعتباری بالاتری داشت و هم برخلاف او شهروند آمریکا بود. در موردی دیگر، استیو وزنیاک (Steve Wozniak)، هم‌بنیانگذار اپل، متوجه شد که با وجود شرایط مالی مشترک، سقف اعتباری او ده برابر همسرش تعیین شده بود. او درباره‌ی این موضوع گفته بود: «ما هیچ حساب بانکی جداگانه‌ای نداریم. هیچ دارایی جداگانه‌ای نداریم. کارت‌های ما کاملا یکسان هستند. تنها تفاوت، جنسیت است.»

همانند مثال قبلی شاید جنسیت خود به تنهایی عامل سوگیری الگوریتم در وهله‌ی اول نباشد اما متغیرهای جانشین (Proxy Variables) می‌توانند این سوگیری را بازتولید کنید. حتی اگر جنسیت مستقیماً وارد سیستم نشود، داده‌هایی مانند سابقه پرداخت، تاریخچه حساب بانکی و حتی الگوهای خرج کردن می‌توانند به‌طور غیرمستقیم به جنسیت اشاره کنند و الگوریتم را به سمت نتیجه‌گیری جنسیت‌زده سوق دهند. علاوه بر سوگیری جنسیتی، سوگیری نژادی نیز در خدمات مالی مشاهده می‌شود.

گزارش‌ها نشان می‌دهند که الگوریتم‌های هوشمند در اعطای وام یا تعیین نرخ‌ بازپرداخت، اقلیت‌ها را در مقایسه با افراد سفیدپوست با نرخ‌های بالاتر یا محدودیت‌های بیشتر مواجه می‌کنند. این مشکلات در وهله‌ی اول از داده‌های آموزشی آلوده به تبعیض‌های تاریخی و استفاده از متغیرهای جایگزین‌ ناشی می‌شوند که به‌طور غیرمستقیم نشانه‌هایی از جنسیت، نژاد یا وضعیت اقتصادی را در خود دارند.

در چنین بستری، شیوه‌ی تعریف مسئله برای الگوریتم نیز اهمیت دارد؛ اگر هدف اصلی سیستم سود حداکثری یا کاهش ریسک بازپرداخت باشد، الگوریتم ناخواسته به سمت رفتارهای تبعیض‌آمیز سوق داده می‌شود. نتیجه این است که سیستم، این سوگیری‌ها را نه تنها بازتولید می‌کند، بلکه به‌ مرور زمان آن‌ها را در یک چرخه‌ی خودتقویتی تشدید و نابرابری‌های موجود را تثبیت می‌کند.

شی انگاری و سانسور

شی‌انگاری و سانسور در فضای دیجیتال، نمونه‌ای دیگر از بایاس الگوریتم‌های هوشمند مورد استفاده برای نظارت بر محتواست؛ این ابزارها با هدف محافظت از کاربران در برابر تصاویر خشونت‌آمیز یا پورنوگرافی طراحی شده‌اند تا شبکه‌های اجتماعی و اینترنت را امن و سالم نگه دارند.

به همین جهت، این سیستم‌ها تصاویر را بر اساس میزان «زننده بودن» یا «بار جنسی» هم طبقه‌بندی می‌کنند؛ پلتفرم‌های اجتماعی بر اساس همین طبقه‌بندی می‌توانند انتشار این تصاویر را محدود کنند. تحقیقات نشان می‌دهد که این طبقه‌بندی‌ها به شدت دچار سوگیری جنسیتی هستند و تصاویر زنان را، بیش از حد جنسی یا زننده ارزیابی می‌کنند؛ در حالی که تصاویر مشابه از مردان چنین برچسبی نمی‌گیرند.

در آزمایشی که توسط خبرنگاران مجله‌ی گاردین (The Guardian) صورت گرفت، صدها عکس مشابه از زنان و مردان مورد بررسی قرار گرفتند. ابزار مایکروسافت تصویری از دو زن با لباس زیر را با امتیاز ۹۶٪ زننده طبقه‌بندی کرد، اما تصویر تقریباً مشابه از دو مرد را تنها با امتیاز ۱۴٪ ارزیابی کرد. این موضوع حتی تصاویر پزشکی را نیز تحت تاثیر قرار داده است. الگوریتم‌های هوش مصنوعی روی تصاویری که توسط موسسه ملی سرطان ایالات متحده منتشر شده و نحوه انجام معاینه بالینی سینه را نشان می‌دهند، آزمایش شدند.

هوش مصنوعی گوگل به این عکس بالاترین امتیاز را برای محتوای نژادپرستانه داد، هوش مصنوعی مایکروسافت ۸۲٪ اطمینان داشت که تصویر به صراحت ماهیت جنسی دارد و آمازون آن را به عنوان برهنگی آشکار طبقه‌بندی کرد. حتی تصاویر زنان باردار نیز برای این ابزارهای هوش مصنوعی مشکل‌ساز هستند. الگوریتم گوگل چنین عکسی را به عنوان «به احتمال زیاد حاوی محتوای زننده» توصیف کرد و الگوریتم مایکروسافت ۹۰٪ اطمینان داشت که تصویر ماهیت جنسی دارد.

یک زن در جلو تصویر قرار دارد و کلمات “CENSORED” به رنگ سبز به صورت پراکنده روی دیوار و بدن وی دیده می‌شوند. نورپردازی تاریک و سایه‌ها حس رمزآلود و مفهومی به تصویر داده است.

اثر چنین سوگیری از طریق کاهش دیده‌شدن محتوا یا همان شدوبن (Shadow banning) خود را نشان می‌دهد؛ یعنی بدون حذف پست یا اطلاع به کاربر، میزان نمایش آن را به شدت کاهش می‌دهد. این مسئله به‌ویژه برای کسب‌وکارهای آنلاین با مدیریت زنان حیاتی است؛ چرا که درآمد این دست از کسب‌وکارها کاملاً به دیده شدن در پلتفرم‌های اجتماعی وابسته‌اند. این الگو در عمل باعث می‌شود افرادی که پیش‌تر حاشیه‌نشین بوده‌اند، بیش از پیش به حاشیه رانده شوند. همچنین این موضوع از نظر اجتماعی نیز این پیام را تقویت می‌کند که زنان باید بیش از مردان بدن خود را بپوشانند. از طرفی عدم شفافیت این دست سانسورها نیز زنان را به خودسانسوری و اعمال محدودیت‌های بیشتر سوق می‌دهند.

سلامت و درمان

اما سوگیری این الگوریتم‌ها تنها به تصاویر پزشکی محدود نمی‌شود. جهت‌گیری در بخش سلامت یک نگرانی جدی است، به‌ویژه که امروزه از مدل‌های یادگیری ماشین در مراحل پیش‌بینی و تشخیص تا درمان استفاده می‌شود. این سوگیری‌ها که عمدتاً ریشه در داده‌های تاریخی و نقص‌های طراحی دارند، می‌توانند به درمان نابرابر، تشخیص اشتباه و در نتیجه آسیب غیرقابل جبران به زنان و گروه‌های اقلیت منجر شوند.

برای مثال، دستگاه‌های نوار قلب که برای تشخیص حملات قلبی استفاده می‌شوند، اغلب براساس داده‌های مربوط به مردان سفیدپوست آموزش دیده‌اند. این باعث می‌شود که علائم حمله قلبی در زنان به‌طور مکرر نادرست تفسیر شده و یا حتی نادیده گرفته شود. در نتیجه ممکن است حمله قلبی واقعی تشخیص داده نشود یا علائم آن به بیماری‌های گوارشی نسبت داده شود. این سوگیری تاریخی در داده‌ها نمونه‌ای واضح از اثر تبعیض جنسیتی در ابزارهای تشخیصی پزشکی است که می‌تواند عواقب جدی برای سلامت زنان داشته باشد که در مطالب آینده آن‌ها را جزئی‌تر بررسی می‌کنیم.

شکستن چرخه‌ی معیوب

این تکنولوژی‌ها با وجود تمام مزایا می‌توانند از داده‌های جانب‌دارانه بیاموزند و نتایج جهت‌دار تولید کنند؛ سپس آن نتایج دوباره به سیستم خورانده و تبعیض را تشدید کنند. این الگوریتم‌ها همان‌قدر که واقعیت‌ها را یاد می‌گیرند، تعصبات اجتماعی ما را نیز به ارث می‌برند.

هوش مصنوعی مانند آینه‌ای از خود ما عمل می‌کند؛ با وجود اینکه این ابزارها با هدف بی‌طرفی طراحی شده‌اند، اما بر اساس داده‌های انسانی ساخته شده‌اند که تعصب و تبعیض موجود را در خود دارند. همان‌طور که اتحادیه‌ی آزادی‌های مدنی آمریکا (ACLU) می‌گوید: «تمام فناوری‌ها توسط انسان‌ها ایجاد می‌شوند و تمام انسان‌ها بایاس دارند.»

شکستن چنین چرخه‌ی خودتکثیر شونده‌ای نیازمند استراتژی‌های جامع و هدف‌دار در کل مسیر توسعه‌ی ابزارهای هوشمند است. این موضوع به این معنی نیست که بایستی هوش مصنوعی را به طور کامل رد کرد، بلکه باید اطمینان حاصل شود که ابزار مورد آزمایش دقیق قرار گرفته و خطاها و سوگیری‌های احتمالی آن شناسایی و اصلاح شوند.

بهره‌گیری از این فناوری‌ها بدون توجه به خطرات احتمالی آن، می‌تواند به تکرار نابرابری‌ها و تحکیم پیش‌داوری‌های موجود منجر شود. خوشبختانه امروزه با مطرح شدن این دغدغه‌ها، بسیاری از پیشگامان فناوری در تلاش‌اند تا تعهدات اخلاقی و فنی عمیق‌تری را در طراحی و توسعه‌ی ابزارهای هوش مصنوعی اعمال کنند. هدف این است که هوش مصنوعی نه به عنوان یک ابزار بی‌طرف، بلکه به عنوان ابزاری فعال در خدمت کاهش نابرابری‌ و ارتقای عدالت اجتماعی عمل کند.

وقتی الگوریتم‌ها با شفافیت، نظارت انسانی و داده‌های جامع و نماینده جامعه ساخته شوند، می‌توانند به جای بازتولید تبعیض، فرصتی برای اصلاح نابرابری‌ها و تحقق عدالت فراهم کنند. این، مسئولیتی جمعی است که بر دوش توسعه‌دهندگان، قانون‌گذاران و کاربران نهاده شده و مسیر پیشرفت فناوری را به سوی آینده‌ای عادلانه‌تر هدایت می‌کند.