When bias in product design means life or death

در دوره مطالعات دکترای خود یک رابط انسان و ربات فعال شده با صدا را برای یک سیستم رباتیک جراحی با استفاده از API تشخیص گفتار مایکروسافت طراحی کردم. اما، چون API عمدتا توسط مردان 20-30 ساله ساخته شده بود، صدای من را تشخیص نمی داد.

مجبور شدم توقع‌ام را پایین بیاورم تا بتواند کار کند. برای همین نتوانستم نتیجه‌ی کارم را شخصا ارائه دهم.

اگرچه من رابط را ساخته بودم، اما وقتی سیستم را به بازدیدکنندگان برجسته دانشگاه نشان می دادم، همیشه باید یک فارغ التحصیل مرد ارائه را رهبری می کرد، زیرا سیستم گفتار صدای آنها را تشخیص می داد اما صدای من را تشخیص نمی داد!

درست است که سیستم‌های تشخیص گفتار هوش مصنوعی از اوایل دهه 2000 به‌طور چشمگیری بهبود یافته‌اند، اما هنوز بسیاری از محصولات هوش مصنوعی وجود دارند که دارای این نقص‌های طراحی هستند.

این دقیقا چیزی است که وقتی مشتریان هدف شما را تحت تأثیر قرار می دهد مشکل ساز می شود - مانند زمانی که Hello Barbie، باربی باهوش مصنوعی Mattel، به سختی صدای کودکانی که قصد بازی با آن را داشتند تشخیص داد (این علاوه بر محتوای بسیار بحث برانگیز و حتی جنسیتی است که در عروسک برنامه ریزی شده است).

در حالی که Hello Barbie و تجربه هوش مصنوعی من هر دو ناامید کننده بودند، آنها به مسائل عمیق تری در تصویر بزرگتر اشاره می کنند. فقدان تنوع و فراگیری در هوش مصنوعی، و در توسعه کلی محصول، صرفاً یک نگرانی اجتماعی یا فرهنگی نیست.

یک نقطه کور در روند توسعه وجود دارد که عموم مردم را تحت تاثیر قرار می دهد. اما مادامی که برای محصولاتی که ایمنی در آنها یک شاخص مهم است اعمال شود، به مسئله ی مرگ و زندگی تبدیل می شود.

این بیش از یک شکایت از عدم تنوع در مهندسی است. به دلیل عواقب وخیم، صنعت باید تغییر کند، به خصوص که هوش مصنوعی به بخش بزرگی از زندگی ما تبدیل می شود.

تعصب (سوگیری‌ها) در طراحی و ایمنی خودرو

هر بار که سوار یک وسیله نقلیه می شوید، زندگی خود را به دست افراد مسئولی می سپارید که برای هر ویژگی، تصمیمات طراحی و مهندسی گرفته اند. و وقتی افرادی که این تصمیمات را می گیرند نیازهای شما را درک نمی کنند یا به آنها پاسخ نمی دهند، عملا زندگی شما در خطر است.

از لحاظ تاریخی، طراحی و توسعه محصولات خودرو تا حد زیادی توسط مردان تعریف شده است. در دهه 1960، پروتکل تست تصادف خودرو، با آدمک‌هایی مدل شده بود که بر اساس الگوی یک مرد معمولی با قد، وزن و قامت صدک 50 قرار داشتند. این بدان معنا بود که کمربندهای ایمنی برای مردان ایمن طراحی شده بودند و برای سالها خودروهایی فروخته می‌شود که تا حد زیادی برای زنان، به ویژه زنان باردار، ناایمن بودند.

در نتیجه، برای رانندگان زن تا 47 درصد بیشتر احتمال داشت که در تصادفات رانندگی آسیب جدی ببینند. خوشبختانه، این روند در حال تغییر است - در سال 2011، اولین آدمک‌های تست تصادف زن در تست ایمنی وارد شدند - اما بنیان فعلی طراحی خودروها همچنان بر روی بیش از 50 سال شیوه‌های طراحی خطرناک (سوگیری های قبلی) بنا شده است.

توجه به جنسیت تنها یکی از زمینه هایی است که در طراحی و مهندسی مورد بی توجه ای جدی قرار گرفته است. تعصب (سوگیری) طراحی در مورد نژاد، قومیت، طبقه اجتماعی-اقتصادی، گرایش جنسی و موارد دیگر به همان اندازه مشکل ساز هستند. به عنوان مثال (در زمان نگارش این مقاله)، سیستم بینایی رایانه‌ای گوگل، سیاه‌پوستان آمریکایی‌ها را گوریل تشخیص می‌داد، و گزارش شده است سیستم بینایی مایکروسافت افراد با پوست تیره‌تر را تشخیص نمی‌دهد. 

این درحالی است که امروزه یکی از برجسته ترین کاربردهای بینایی کامپیوتر، در خودروهای خودران است که برای شناخت و درک دنیای اطراف خود به این سیستم ها متکی هستند. اگر این سیستم ها افراد از هر نژاد را به عنوان انسان تشخیص ندهند، پیامدهای ایمنی جدی وجود خواهد داشت!

امیدوارم هرگز در آینده ای زندگی نکنیم که اتومبیل های خودران بیشتر به یک گروه نژادی ضربه بزنند یا زندگی برخی نژادها را بر دیگر نژادها در اولویت قرار دهند.
متأسفانه، هنگامی که یک گروه همگن در حال طراحی و مهندسی اکثریت قریب به اتفاق فناوری هستند، آنها آگاهانه و یا ناخودآگاه تعصبات خود را منتقل می کنند.

مشکل فراگیری گسترده

فراتر از حمل و نقل، ما برای نیازهای اولیه مانند غذا، ارتباطات، آموزش و بسیاری موارد دیگر به فناوری متکی هستیم. برای اینکه ما در جامعه ای برابر زندگی کنیم، فناوری ما باید در خدمت همه بخش ها باشد و به طور یکسان رفتار کند.

بیایید اذعان کنیم که امروزه تنوع و مشکلات گسترده ای در زمینه هوش مصنوعی وجود دارد. با یک جستجوی سریع در گوگل می‌توان  موارد ناامید کننده ای را کشف کرد که در آنها هوش مصنوعی به طور آشکار علیه یک گروه تبعیض قائل شده است، از جمله:

Tay مایکروسافت، یک چت ربات "نوجوان" هوش مصنوعی که از تعاملات می آموخت. طی 24 ساعت پس از قرار گرفتن در معرض عموم، تای شخصیتی نژادپرست، جنسیت‌گرا و همجنس‌گرا هراسی به خود گرفت و مجبور شدند برای مدت نامعلومی او را مرخص کنند!

Apple HealthKit، که ردیابی تخصصی مانند مصرف سلنیوم و مس را فعال می کرد، اما از گنجاندن ردیاب پریود زنان تا iOS 9 غافل بود.

مطالعه‌ای که توسط دانشگاه لنکستر انجام شد، به این نتیجه رسید که موتور جستجوی گوگل یک اتاق پژواک برای کلیشه‌های منفی در مورد نژاد، قومیت و جنسیت ایجاد می‌کند. در زمان نگارش این مقاله وقتی کلمات «آیا زنان…» را در گوگل تایپ کردم، گزینه‌های تکمیل خودکار آن عبارت بودند از: «…یک اقلیت»، «...شر»، «...مجاز در جنگ» یا، آخرین و نه کم اهمیت ترین، «… جذب پول».

با وجود این اشتباهات اخیر، سیلیکون ولی به سادگی از انکار گذشته به سمت پذیرش حرکت کرده است. این خوب نیست. ما باید گام های مستقیم و عملی را در جهت تغییر فرهنگ هوش مصنوعی و ایجاد محصولاتی که برای همه اقشار جامعه ایمن هستند، برداریم. چگونه این کار را انجام دهیم؟

محصولات ایمن تر با تیم های متنوع شروع می شود

مطالعه‌ی اخیر توسط Paysa نشان داد که 68.4 درصد از افرادی که در فضای خودروهای خودران در شش ماه گذشته شغل داشتند، مرد و تنها 5.4 درصد زن بودند (26.2 درصد نامشخص هستند). از همان گروه، 42.1 درصد سفیدپوست، 36.2 درصد آسیایی و 21.6 درصد نامشخص بودند. حتی با وجود داده های نامشخص، این اعداد تصویری از کمبود شدید تنوع در فضایی را نشان می دهند که ایمنی میلیون ها نفر را تحت تاثیر قرار می دهد.

در حالی که یک بخش می تواند سطح مشخصی از همدلی را هنگام توسعه محصولات برای دیگران داشته باشد، ما بارها و بارها شاهد بوده ایم که چگونه داشتن یک تیم همگن می تواند منجر به طراحی های مغرضانه (دارای سوگیری) نسبت به آن گروه خاص شود.

وسوسه انگیز است که فکر کنیم حجم عظیم داده های موجود می تواند مشکل را حل کند. اما متاسفانه اینطور نیست. این الگوریتم‌ها با مقایسه یک مدل داده با مدل‌های مشابه گذشته کار می‌کنند - و برای کشف زمینه مناسب برای یک مدل داده خاص، نیاز به دوز سالمی از قضاوت انسانی است. تیم های مهندسی نقش مهمی در تعریف این مدل ها و در نتیجه فناوری حاصل از آن دارند.

حتی خوش‌نیت‌ترین توسعه‌دهندگان نیز می‌توانند به سادگی از دیدگاه محدود خود و اینکه چگونه ممکن است ناخودآگاه بر محصولاتی که ایجاد می‌کنند تأثیر بگذارد، بی‌اطلاع باشند. برای مثال، مردان سفید پوست اغلب حضور و تأثیر اقلیت ها را دست بالا می گیرند.

موسسه جینا دیویس در بررسی جنسیت در رسانه دریافته است که مردان سفیدپوست که جمعیتی با 17 درصد زنان را مشاهده می‌کنند، آن را 50-50 توصیف کرده‌اند و هنگامی که 33 درصد از جمعیت زنان بودند، آن را با اکثریت زنان بیان کردند. یک تخمین بیش از حد ساده مانند این نشان می دهد که دیدن جهان از منظر دیگری چقدر می تواند دشوار باشد.

البته که مهندسی نرم افزار، به ویژه در فضای نوپای خودروهای خودران، یک مسیر شغلی پردرآمد است، پس بسیاری از گروه های اقلیت نیز باید از چنین فرصت هایی برخوردار شوند. با این حال، دلیل مهم‌تری برای کار گروه‌های اقلیت در زمینه رانندگی خودروهای خودران وجود دارد - فرصتی برای طراحی محصولاتی که به طور مساوی بر زندگی میلیون‌ها نفر از افراد مختلف تأثیر می‌گذارد و آن را بهبود می‌بخشد.

من همه شرکت‌های فناوری را تشویق می‌کنم که ابتدا به وضعیت فعلی تنوع در تیم‌های مهندسی، محصول و رهبری خود آگاه و نسبت به آن صادق باشند. سپس، معیارها و اهداف قابل ردیابی را سه ماهه به سه ماه تنظیم کنند. زیرا مهم است که الزامات از همان روز اول آماده و  و در حین توسعه شرکت و محصول، در برنامه گنجانده شوند.

فقدان تنوع در هوش مصنوعی صرفاً یک نگرانی اجتماعی یا فرهنگی نیست.بلکه مسئله مرگ و زندگی است. برای ساختن محصولات ایمن‌تر که ارزش برابر و انسانیت همه مردم را به رسمیت می‌شناسد، ابتدا باید دیدگاه‌ها و صداهای متنوعی از یک تیم متنوع داشته باشیم. من باور ندارم که استخدام نامزدهای اقلیت سخت تر از ساخت خودروهای خودران است.

نویسنده: Carol E. Reiley یکی از بنیانگذاران و رئیس Drive.ai است. او قبلا آزمایشگاه Tinkerbelle را تاسیس کرده بود.