زنان اعتبار کمتری دارند!
در سال ۲۰۱۹، جِنویو، همنگارندة این مقاله و شوهرش هر دو از یک موسسة مالی یک نوع کارت اعتباری را درخواست کردند. با اینکه جنویو امتیاز اعتبار نسبتا بهتری از همسرش داشت و هردو درآمد، مخارج و بدهیهای یکسانی داشتند، شرکت صادرکنندة کارت اعتباری، سقف اعتبار او را تقریبا نصف سقف اعتبار همسرش تعیین کرده بود. در تجربة مناقشهآمیز دیگری، زوجی که هر دو از کارت اعتباری شرکت اپل استفاده میکردند متوجه شدند که سقف اعتبار مرد تقریبا ۲۰ برابر سقف اعتبار زن تعیین شدهاست. کارمندان خدمات مشتریان اپل نمیتوانستند توضیح دهند که چطور الگوریتم اعتبارسنجی، اعتبار زن را بسیار کمتر از مرد تعیین کردهاست.
بسیاری از سازمانها تصمیماتشان را بر اساس سیستمهای هوش مصنوعی مبتنی بر یادگیری ماشین میگیرند. سیستمهایی که در آنها دنبالهای از الگوریتمها حجم عظیمی از دادهها را دریافت میکنند، با پیدا کردن الگوها از آنها یاد میگیرند و دست به پیشبینی میزنند. همین سامانهها هستند که تصمیم میگیرند یک سازمان مالی چه مقدار اعتبار به مشتریانش تخصیص بدهد، سیستم مراقبت سلامت چهکسی را برای واکسن کووید۱۹ در اولویت قرار دهد و شرکتها کدام کاندیداهای درخواست شغل را برای مصاحبه دعوت کنند. اما سوگیری جنسیتی هم در این سامانهها فراگیر است و تاثیرات عمیقی بر امنیت کوتاه و بلند مدت روانی، اقتصادی و سلامتی زنان دارد. این سوگیریها میتوانند کلیشهها و تعصبات جنسیتی آسیبرسان موجود را هم تقویت و تشدید کنند.
باید سوال کرد چطور میتوان هوش مصنوعی حساس به جنسیتی ساخت که به جای نهادینه و تقویت کردن سوگیری جنسیتی، برابری جنسی را گسترش دهد؟
سوگیری جنسی هوش مصنوعی از کجا میآید؟
سامانههای هوش مصنوعی سوگیری دارند چرا که ساختة دست انسان هستند. کسانی که دادههای سیستمهای هوش مصنوعی را فراهم میکنند و برنامهنویسانی که آنها را میسازند به توسعة این سامانهها شکل میدهند. جای تعجب ندارد که در این میان این افراد شکاف جنسیتی عمیقی وجود دارد: تنها ۲۲ درصد از متخصصان حوزة هوش مصنوعی و کلانداده زنان هستند و همین زنان هم بیشتر در شغلهایی با جایگاههای پایینتر مشغول به کارند.
بهطور کلی، «انسانها» دادههایی را که وارد مجموعههای داده میشوند تولید، گردآوری و برچسبگذاری میکنند. انسانها تعیین میکنند که الگوریتمها با چه دادههایی، چه متغیرهایی و چه قواعدی یاد بگیرند و بعد پیشبینی کنند. هر دو این مراحل میتوانند سوگیریهایی را وارد سامانههای هوش مصنوعی کنند.
سوگیری داده
دادهها درواقع عکسهایی لحظهای از دنیایی هستند که در آن زندگی میکنیم و شکافهای عمیق جنسیتی در دادهها تا حدی ریشه در شکاف جنسیتی دیجیتال در دنیای واقعی دارند. برای نمونه حدود ۳۰۰ میلیون زن کمتر از مردان به اینترنت موبایل دسترسی دارند و زنان در کشورهای کمدرآمد و با درآمد متوسط ۲۰ درصد کمتر از مردان گوشی هوشمند دارند. این فناوریها دربارة کاربرانشان داده تولید میکنند و همین واقعیت که زنان دسترسی کمتری به آنها دارند خود به خود دادهها را تحریف میکند.
حتی وقتی دادهها به اندازة کافی تولید شدهباشند، انسانها هستند که تصمیم میگیرند چه دادههایی را و چطور گردآوری کنند. هیچ صنعتی بهتر از صنعت سلامت این سوگیری را نشان نمیدهد. (صنعت دیگری که در سطح مدیریتی تعادل جنسیتی ندارد) مردان و بدن مردانه مدت زمانی طولانیست که استاندارد تستهای پزشکی بوده است. زنان در این آزمون و خطاهای پزشکی نقشی ندارند چون بدن زنانه بیش از حد پیچیده و متغیر تلقی میشود. حتی مطالعات جانوری دربارة بیماریهای« فراگیر در زنان» هم جنس مونث را شامل نمیشوند. همین شکاف است که در کلاندادههای پزشکی هم منعکس میشود.
دادههایی که بر اساس جنس و جسنیت (و سایر عناصر هویتی) تفکیک نمیشوند هم مشکل دیگری را ایجاد میکنند. این دادهها تصویر نادقیقی را ترسیم میکنند که تفاوتهای مهم میان افراد از هویتهای جنسیتی مختلف و بیشبازنمایی یا کمبازنماییهای بالقوه را پنهان میکنند. برای نمونه مجموعهدادههای شهری کمی دادههای مربوط به جنسیت را استخراج و تحلیل میکنند. بنابراین برنامههای زیرساختی شهری معمولا نیازهای زنان را در نظر نمیگیرند.
حتی وقتی دادهها بازنمایی خوبی از واقعیت دارند، احتمالا حامل تعصبات و کلیشههای دنیای واقعی هستند و نابرابری موجود در جامعه را منعکس میکنند. در صنعت اعتبارسنجی مشتری، اولین فرآیندهای اعتبارسنجی مشتریان وضعیت تاهل و جنسیت آنها را در نظر میگرفتند. بعدها این شیوههای تبعیضآمیز با شیوههایی خنثیتر جایگزین شدند. اما حالا دیگر زنان اساسا سابقة مالی رسمی کمتری داشتند و از تبعیضی رنج میبردند که اعتبار آنها را تحت تاثیر قرار میداد. دادههای تاریخی اعتبار افراد این روندهای تبعیضآمیز را در درون خود دارند.
برچسبزدن دادهها میتواند امری ذهنی باشد و سوگیریها و جهانبینیهای مضر شخصی را وارد این فرآیند کند. برای نمونه بیشتر دادههای جمعیتشناختی در نهایت بر اساس دستهبندیهای دوگانه و سادهانگارانة زن و مرد برچسب زده میشوند. این شیوة تقسیمبندی توانایی هوش مصنوعی برای انعکاس سیالیت جنسیتی و هویت جنسیتی خودانگارانه را کاهش میدهد.
سوگیری الگوریتم
یکی از اولین گامهای توسعة یک الگوریتم انتخاب دادههای مرحلة یادگیری است. باز هم اگر به مثال صنعت اعتبار مشتری برگردیم، وقتی سامانة هوش مصنوعی که اعتبار مشتریان را تعیین میکند از دادههای تاریخی یاد بگیرد، همان الگویی را آموزش میبیند که در آن زنان سقف اعتبار کمتری از مردان داشتهاند. این سامانهها همان دسترسی نابرابر به اعتبار در میان جنسیتها (و نژادها) را بازتولید میکنند. چنان که در نمونة جنویو و داستان کارت اعتباری اپل دیدیم. یافتههای یک پروژة پژوهشی نشان میدهد که سامانههای تجاری تشخیص چهره مجموعهدادههای تصاویری را استفاده میکردند که نمونهای نمایندگیکننده و متنوع نبودهاست. این سیستمها در تشخیص زنان بسیار بیشتر از مردان به اشتباه میافتادند. به ویژه زنانی که پوست رنگ تیرهتری داشتند با ۳۵ درصد خطا اشتباه تشخیص داده میشدند. این در مقابل تنها ۰.۸ درصد خطا برای مردان با رنگ پوست روشنتر بود.
این توسعهدهندگان هستند که تعیین میکنند الگوریتم چه متغیرهایی را در تصمیمگیری در نظر بگیرد. اما این متغیرها و فیلترها ممکن است برخی اجتماعات و هویتها را نادیده بگیرد. برای نمونه «گیلد»، پلتفرم آنلاین استخدام حوزة فناوری ، یک سامانة هوش مصنوعی توسعه داد که به کارمندان کمک میکند کاندیداهای شغلهای برنامهنویسی را رتبهبندی کنند. گیلد علاوه بر استخراج دادههای منابع سنتی مثل رزومهها، از شیوهای به نام «دادههای اجتماعی» (دادههای حاصل از فعالیت در فضای مجازی) هم استفاده کرد تا همبستگی کاندیدای شغل با جامعة دیجیتال را هم اندازه بگیرد. در این مورد، دادههای اجتماعی از زمان سپری شده برای اشتراک و توسعة کد در پلتفرمهایی مثل گیتهاب استخراج شده بود. اما در چنین تصمیمگیریای عواملی مثل انتظارات اجتماعی دربارة مراقبتهای بدون مزد –که زنان به دوش میکشند- به داشتن زمان کمتر زنان برای گفتگوی آنلاین تفسیر میشود. بنابراین زنان دادههای اجتماعی کمتری تولید میکنند. بعلاوه زنان گاه با هویتهای مردانه وارد پلتفرمهایی مثل گیتهاب میشوند تا از مشکلات امنیتی مربوط به جنسیت (مثل ترولینگ و آزار هدفمند) جلوگیری کنند. گیلد به جای از بین بردن سوگیریهای انسانی الگوریتمی ساخت که متمایل به سوگیری دربارة زنان بود و به طور سیستماتیک رتبة کاندیداهای زن را پایینتر از رقبای مردشان تعیین میکرد.
تاثیرات هوش مصنوعی جسنیتزده
هوش مصنوعی جنسیتزده نه تنها تاثیراتی جدی بر افراد دارد بلکه میتواند موجب عقبگرد در برابری جنسیتی و توانمندی زنان شود. بخشی از کار ما در «مرکز هاس برکلی» دربارة کاهش سوگیری در هوش مصنوعی، دنبال کردن نمونههای در دسترس عموم سامانههای هوش مصنوعی جنسیتزده است. در تحلیل ما، از مجموع حدودا ۱۳۳ سامانة دارای سوگیری در صنایع متفاوت از سال ۱۹۸۸ تا کنون، ۴۴.۲ درصد (۵۹ سامانه) سوگیری جنسیتی و ۲۵.۷ درصد (۳۴ سامانه) هم سوگیری جنسیتی و هم نژادی را نشان میدهند.
کیفیت خدمات پایینتر: از ۵۹ سامانة دارای سوگیری جنسیتی، ۷۰ درصد کیفیت خدمات پایینتری به زنان و سایر اقلیتها ارائه میدهند. سامانههای تشخیص صدا، که برای مثال به طور فزایندهای در صنایع خودرو و مراقبت سلامتی به کار میروند معمولا برای زنان ضعیفتر عمل میکنند.
تخصیص ناعادلانة منابع، اطلاعات و فرصتها برای زنان: ۶۱.۵ درصد از سامانههایی که ما به عنوان جنسیتزده شناسایی کردهایم مثل نرمافزار استخدام و سیستمهای تبلیغاتی، برای مردان اولویت قائل میشوند.
تقویت کلیشهها و تعصبات آسیبرسان موجود در جامعه: (در ۲۸.۲ درصد از سامانههای جنسیتزده) این کلیشها در واقع از حلقههای بازخورد میان خروجیها و دادههای ورودی حاصل میشوند. برای مثال نرمافزار ترجمهای که از حجم وسیعی از متون آنلاین یاد میگیرد، عبارتهایی خنثی مثل دکتر و پرستار (در انگلیسی) را گرفته و ترجمههای جنسیتزدهای در زبان اسپانیایی را تحویل میدهد که در آن حرف تعریف دکتر مذکر و حرف تعریف پرستار مونث بودهاست. این نمونه کلیشة مردان دکتر و زنان پرستار را تقویت میکند. همچنین ما دریافتیم که سامانههای هوش مصنوعی –عموما رایج در خدمات اینترنتی- به رفتاری توهین و تحقیرآمیز یا حذف هویتهای جنسیتی طرد شده منجر میشوند. (۶.۸۴ درصد)
تاثیرات جدی بر سلامت افراد: بعلاوه، برخی سامانهها بر بهزیستی جسمانی و ذهنی زنان و سایر اقلیتها نیز تاثیر میگذارند. سامانههای جنسیتزدة مورد استفاده در صنعت سلامت، رفاه و صنایع خودرو به طور ویژه به امنیت جسمانی آسیب میزنند و به مخاطرات سلامتی منجر میشوند (۲۲.۲ درصد از سامانههای جسنیتزده). برای مثال سامانههای هوش مصنوعی تشخیص سرطان پوست به سختی میتوانند بیماری ملانوما را برای افراد سیاهپوست تشخیص دهند چرا که عمدة تشخیصهای پیشین (و بنابراین دادهها) بر اساس بیماران سفیدپوست بودهاست. به این ترتیب زنان سیاهپوست که خود کمبرخوردار بودهاند، بیشتر هم توسط صنعت سلامت در معرض خطر قرار میگیرند.
چه میتوان کرد؟
فعالان اجتماعی چه تغییراتی را میتوانند رقم بزنند؟
اولویت دادن به برابری جنسیتی و عدالت به عنوان هدف اولیه برای سیستمهای یادگیری ماشین میتواند بر تصمیمات طراحی و مدیریت موثر باشد. باید آگاه باشیم که سامانههای یادگیری ماشین بیطرف نیستند. حتی سیستمهای یادگیری ماشین که برای اهداف مثبت طراحی شدهاند (برای مثال سامانهای که برای عادلانهتر کردن اعتبارسنجی و استخدام ساختهشده) میتواند درست مثل سازندگانش مستعد سوگیری باشد. راهبران تغییرات اجتماعی، و مدیران سازمانهای توسعهدهندة سامانههای یادگیری ماشین میتوانند در گسترش برابری جسنیتی و ساخت ماشینهای حساس به جنسیت نقش مهمی ایفا کنند.
راهبران تغییرات اجتماعی میتوانند:
۱- شیوههای عادلانهتر گردآوری داده را به کار بگیرند تا شکافهای دادهای را پر کنند. چنان که کترین دیاگنازیو و لارن کلِین در کتاب فمنیسم داده نشان میدهند، این شیوهها شامل تحلیل عملکرد قدرت و استفاده از داده برای به چالش کشیدن ساختارهای نابرابر قدرت، عبور از جنسیت دوگانه، ارزشگذاری بر انواع چندگانه دانش و درهم آمیختن جهانبینیهای چندگانه با اولویت دادن به دانشهای بومی و محلی است. دادة فمنیستی میتواند به شنیدهشدن صداها و تجربیات افراد طرد شده از جمله زنان و دختران کمک کند.
برای نمونه، «دموکراسی دیجیتال»، سازمانی که در کنار اجتماعات حاشیهای کار میکند تا از حقوق آنها از طریق فناوری دفاع کند با گروههای اجتماعی محلیای چون «کمیسیون زنان قربانی برای قربانیها» همکاری کرد تا سیستم امنی برای جمعآوری دادههای خشونت مبتنی بر جنسیت در هایتی بسازند. این سیستم به زنان محلی اجازه میداد دادههای مربوط به خشونت را دنبال کنند، اشتراک بگذارند و تحلیل کنند.
۲- تخصصهای خود را به حوزة هوش مصنوعی برابر قرض دهند، برای آموزش سواد هوش مصنوعی حمایتطلبی کنند و به این گفتگو بپیوندند. با ادغام تخصصهای حوزة جنسیت در سامانههای هوش مصنوعی، توسعهدهندگان یادگیری ماشین و مدیران بهتر میتوانند مسائل و راهحلهای کاهش سوگیری جنسیتی را درک کنند. این امر با حمایتطلبی برای آموزش سواد هوش مصنوعی در میان متخصصان حوزة جنسیت و درگیر کردن آنها در این گفتگو با سازماندهی جلسات و کارگاههای مربوط به جنسیت و هوش مصنوعی شروع میشود. این جلسات و کنفرانسها در حوزههای دیگری که پیشتر خالی از حضور متخصصان جنسیت بودند موثر واقع شدهاند.
۳- در به کارگیری سامانههای هوش مصنوعی برای حل شکافهای جنسیتی باید منتقدانه اندیشید.
باید فکر کرد که چه کسانی در تیم توسعهدهنده نمایندگی میشوند، چه دادههایی استفاده میکنند و چگونه الگوریتم را توسعه میدهند. هوش مصنوعی به طور فزایندهای برای حل چالشهای جهانی توسعه از جمله نابرابری جنسیتی استفاده میشود و سازمانهای مدنی نیز در این حوزه فعالتر شدهاند. برای مثال بانکداری جهانی زنان و موجر فینانشیرا اکنون از یادگیری ماشین برای حمایت از دربرگیری بیشتر زنان در حوزههای مالی استفاده میکنند. مهم است که اصرار و حمایت کنیم توسعهدهندگان یادگیری ماشین بر شنیده شدن صدای زنان و سایر اقلیتها در توسعه، خلق و مدیریت این سامانههای هوش مصنوعی تمرکز کنند. همچنین باید هشیار بود و سامانههای هوش مصنوعی که مستعد سوگیری جنسیتی هستند و نتایج غیرعامدانة آنها را پیش از استفاده ارزیابی کرد.
توسعهدهندگان یادگیری ماشین چه میتوانند بکنند؟
سیستمهای یادگیری ماشینی که برای اهداف مثبت طراحی میشوند به راحتی از تحلیلهای انتقادی دربارة نتایج غیرعامدانه اما سوگیرانه نجات پیدا میکنند. اما نیت ساخت سیستم برای اهداف مثبت کافی نیست. کمک به پژوهشگران و راهبران کسب و کارها و سازمانهای توسعهدهندة سیستمهای هوش مصنوعی برای ساخت هوش مصنوعی حساس به جنسیت، نیازمند این است که فعالان اجتماعی همکاران توسعهدهندة خود را تشویق کنند تا اقدامات زیر را دنبال کنند:
۱- تنوع، برابری و فراگیری جنسیتی را در تیمهای توسعهدهنده و مدیریت سامانههای هوش مصنوعی نهادینه کنید و گسترش دهید: اگر به قدرت هوش مصنوعی در ساختن دنیایی عادلانهتر باور داریم، پیاده کردن این امر هم ضروری است. مطالعهای متاخر نشان دادهاست که گروههای به لحاظ جمعیتشناختی متنوعتر در کاهش سوگیری الگوریتمی بهتر عمل میکنند. اطمینان پیدا کنید که تنوع در تیم اولویتی مرکزی است و ساختارها، روشها و سیاستهای نهادی را برای حمایت از تنوع و فراگیر بودن به روز کنید.
۲- آگاه باشید که داده و الگوریتم بیطرف و خنثی نیستند و کاری کنید! آنچه در دادههای یادگیری ماشین و مدلهای یادگیری ماشین خود دارید مستند کنید. دادهها را از نظر کمبازنمایی هویتهای جنسیتی و نابرابریهای اساسی که واقعیت را منعکس میکنند اما در نهایت مشکلساز میشوند، ارزیابی کنید. در نهایت با متخصصان حوزة جنسیت همکاری کنید تا اصول و رویکردهای دادة فمنیستی را به کار بگیرید. آثار بالقوة سوگیری جنسیتی الگوریتمها را تشخیص دهید، رفع کنید و الگوریتمها را با عینکی جنسیتی بازبینی کنید.
۳- به صدای اعضای اجتماعات حاشیهای شامل زنان و سایر اقلیتها در توسعة سامانههای هوش مصنوعی مرکزیت دهید. از پژوهشها و بخشهایی که طراحی همکارانه و پژوهش اقدام همکارانه را در توسعة فناوری نهادینه کردهاند حمایت کنید و بیاموزید. (مثل پخت و پز پاکیزه یا انرژی مستقل از شبکه)
۴- رویکردهای حکمرانی هوش مصنوعی پاسخگو را به شیوهای حساس به جنسیت بنا بگذارید. در چینش ساختارهای حکمرانی اخلاق هوش مصنوعی (رهبری و هیئت اخلاق هوش مصنوعی) از تنوع جنسیتی در میان اعضا اطمینان کسب کنید. در طراحی اصول و هنجارهای هوش مصنوعی اخلاقی و پاسخگو، با نگاهی انتقادی به این امر فکر کنید که چطور عدالت و برابری در جنسیت یا سایر هویتهای حاشیهای را جای دهید. (گزارش یونسکو در اینباره راهنمایی میکند.)
این اقدامات جامع نیستند ولی نقطة شروعی برای توسعة هوش مصنوعی حساس به جنسیت فراهم میکنند تا برابری گسترش پیدا کند. بیایید این فرصت برای تحولآفرینی در شیوة تفکر، طراحی و مدیریت سیستمهای هوش مصنوعی را از دست ندهیم و جهانی عادلانهتر هم برای امروز و هم برای نسلهای بعدی بسازیم.