Intent, impact and harm: Why we need to think about design ethics
در نظر گرفتن تاثیر تصمیمات طراحی مهم است زیرا بدون توجه و مراقبت لازم، فناوری ظرفیت ایجاد آسیب در مقیاس و سرعت فوق‌العاده‌ای را دارد. هنگام طراحی خدمات برای دیگران، باید مسئولیت خود، نتایج و نیت‌ها را در نظر بگیریم.
- آیا تا به حال پیرامون مفاهیم طراحی اخلاقی بحث کرده‌اید؟
- در مورد پیچیدگی مفهوم طراحی و اینکه چگونه برخی از تعاریف «طراحی» محدود هستند چطور؟
مثلا:
طراحی فرایند و هنر برنامه‌ریزی و ساختن نقشه و طرح‌های دقیق از چیزی است؛ فرهنگ لغت کالینز
یا
طراحی… هدف پشت یک نتیجه است؛ IBM
برخی از تعاریف، مانند آنچه در بالا ارائه شد، بر فرایند طراحی یا هدف طراح تمرکز دارند و در مورد نتیجه‌ی واقعی صحبت نمی‌کنند، «چیزی» که طراحی شده است؛ هر چیزی ممکن است باشد.
آیا ما مسئولیتی در قبال نتیجه‌ی طراحی خود داریم یا فقط مسئول طی کردن «فرایند» طراحی هستیم؟
واقعیت این است که ما به‌عنوان افرادی که محصولات و خدمات را برای دیگران طراحی می‌کنند، مسئول پیامدهای آن محصولات و خدمات نیز هستیم.
- مسئولیت تیم محصول و طراحی از کجا شروع و به کجا ختم می‌شود؟
- آیا ما مسئول طراحی‌ها، محصولات و خدماتی که به دنیا عرضه می‌کنیم هستیم؛ یا مسئولیت با شخص دیگری است، مثلا یک ذینفع؟
آیا «نیت» مهم است؟
طراحی… هدف و تأثیر غیرعمدی پشت یک نتیجه است؛ آزمایشگاه واکنش خلاق
گفته‌اند که «اخلاق مبتنی بر وظیفه (Deontological) ادعا می‌کند که انگیزه‌ها بیش از نتایج مهم هستند. بنابراین اگر نیت شما خیر بوده است، صرف‌نظر از نتیجه، اخلاقی رفتار کرده‌اید.»
اما مثال‌های بی‌شماری وجود دارند که در آنها طراحی‌ها در نتیجه‌ی عواقب ناخواسته آسیب می‌رسانند. به این ترتیب، می‌شود استدلال کرد که قصد در واقع اهمیت کمی دارد و مسئولیت ما در قبال کاربران است که تعیین‌کننده است. نیت خوب لزوماً با نتایج مثبت برای کاربران همسو نیست. آنچه اهمیت دارد تاثیر است.
به‌عنوان مثال الگوریتم برچسب‌گذاری عکس گوگل (Google’s photo-tagging algorithm) به طور خودکار عکس‌های کاربران را گروه‌بندی می‌کند. فرض می‌کنیم که این الگوریتم برای بهبود قابلیت استفاده از سرویس Google Photos و آسان‌تر کردن زندگی مردم طراحی شده است. با این وجود، یکی از تأثیرات ناخواسته آن این بود که یک زن سیاه‌پوست چندین بار توسط الگوریتم به اشتباه به عنوان «گوریل» طبقه‌بندی شد. این برای افراد درگیر ناراحت‌کننده و تحقیرآمیز است و وقتی با روایت‌ها و کلیشه‌های نژادپرستانه موجود پیوند می‌خورد، زبان و دیدگاه‌های تبعیض‌آمیز موجود را تقویت می‌کند.
این تنها نمونه‌ای از این نوع اشتباهات است که از فناوری یادگیری ماشین نشأت می‌گیرد. همچنین شکایت‌هایی مبنی بر برچسب‌گذاری خودکار افراد در عکس‌ها به عنوان «حیوانات» و اردوگاه‌های کار اجباری به‌عنوان «ورزشگاه‌های جنگلی» دریافت شده است.
چرا این یک مشکل طراحی قلمداد می‌شود نه فقط یک خطا در فناوری؟ زیرا خود فناوری هم طراحی شده است.
یادگیری ماشین و یادگیری عمیق به‌وسیله‌ی آموزش با مجموعه داده‌های عظیم کار می‌کنند تا زمانی که بتوانند الگوها، اشیا یا کلمات را تشخیص دهند. آنها می‌توانند میلیون‌ها داده (مانند تصاویر) را پردازش کنند تا مدلی بسازند که به آنها امکان پیش‌بینی می‌دهد، مانند نحوه‌ی دسته‌بندی عکس‌ها.
مشکل این است که وقتی داده‌ها در وهله‌ی اول و در مرحله‌ی انسانی کنترل نمی‌شوند، ماشین سوگیری‌های موجود ما را یاد می‌گیرد. اگر مجموعه داده‌ای از تصاویر افراد سفیدپوست را به ماشین بدهید، در تشخیص چهره‌های سفید فوق‌العاده خوب عمل می‌کند. این برای افرادی که سفیدپوست نیستند چه معنایی دارد؟ برای شناسایی صحیح آنها نمی‌توان به فناوری اعتماد کرد.
این دقیقا همان چیزی است که در مورد رابرت ویلیامز، پدری 43 ساله که در حومه‌ی دیترویت زندگی می‌کرد، اتفاق افتاد. او به اشتباه توسط فناوریِ تشخیص چهره به‌عنوان عامل یک سرقت شناسایی، دستگیر و بازجویی شد و 30 ساعت را هم در بازداشت به سر برد. پلیس بر طبق تصویری کم‌نور از یک دوربین نظارتی که از طریق سیستم تشخیص چهره کار می‌کرد، ویلیامز را بر اساس عکس قدیمی گواهینامه رانندگی‌اش به اشتباه شناسایی کرده بود.
در این شرایط، مسئله تعصب نژادی نیز مطرح بود. ویلیامز یک مرد آمریکاییِ آفریقایی‌تبار است و یک مطالعه‌ی فدرال در زمینه‌ی فناوری تشخیص چهره نشان داده است که:
افراد آسیایی و آمریکاییِ آفریقایی‌تبار بسته به الگوریتم و نوع جستجو، تا 100 برابر بیشتر از مردان سفیدپوست در معرض شناسایی نادرست بودند. بر اساس این مطالعه، بومیان آمریکا بالاترین نرخ تشخیص اشتباه را در بین تمام قومیت‌ها داشته‌اند که نشان می‌دهد دقت سیستم‌ها بسیار متفاوت است.
این مطالعه نشان داد که زنان بیشتر از مردان و افراد مسن و کودکان بیشتر از سایر گروه‌های سنی به اشتباه شناسایی می‌شوند. مردان میانسال سفیدپوست عموماً از بالاترین میزان دقت بهره برده‌اند.
باز هم، مسئله مربوط به طراحی دقت فناوری است، زیرا با استفاده از داده‌های متنوع آموزش داده نشده‌اند. این بدان معناست که گروه‌های سنتیِ به حاشیه رانده‌شده به طور نامتناسبی تحت‌تاثیر پیامدهای منفی فناوری قرار می‌گیرند.
در پرونده‌ی ویلیام، دو هفته بعد به دلیل ناکافی بودن مدارک، دادستان پرونده را متوقف کرد. ویلیامز تحقیر شد و دختران خردسالش از ندیدن پدرشان آسیب دیدند، اما او آزاد بود که برود! اما عواقب این ماجرا می‌توانست از ناراحت‌کننده به مرگبار تبدیل شود. ویلیامز در مورد مصیبت خود نوشت: «من هم مانند هر سیاه‌پوست دیگری، باید فکر می‌کردم که اگر بیش از حد سوال بپرسم یا خشم خود را آشکارا نشان دهم چه اتفاقی می‌افتد؛ حتی با وجود آنکه می‌دانستم هیچ اشتباهی نکرده‌ام». همانطور که از خبرها می‌دانیم، مردان سیاه‌پوست در آمریکا به‌ویژه در تعامل با پلیس آسیب‌پذیرتر هستند. بنابراین وقتی فناوری از این نوع اشتباهات مرتکب می‌شود، چیزهای زیادی را به خطر می‌اندازد.
برای اطلاعات بیشتر در مورد خطرات فناوری تشخیص چهره، پیشنهاد می‌کنم که فیلم Coded Bias را که سوگیری الگوریتمی را بررسی می‌کند تماشا کنید.
در چنین داستان‌هایی، فرض را بر این می‌گذاریم که قصد طراحان و متخصصان فناوری خیر بوده است. آنها قصد آسیب رساندن به افراد را نداشته‌اند. ممکن است فرایند تفکر طراحی را دنبال کرده و با همدلی طراحی کرده باشند. با این وجود، خروجی طرح‌ها برای مردم مضر بود، بنابراین آیا «نیت خیر» آنها واقعاً اهمیت دارد؟
طیفی از آسیب‌ها
اینها فقط دو نمونه هستند؛ داستان‌های بی شمار دیگری از تأثیر مضر فناوری و طراحی نادرست وجود دارد. تأثیرات می‌تواند صرفاً ناامید‌کننده باشد، مانند الگوهای تاریک، غم‌انگیز، طردکننده یا تقویت‌کننده‌ی تبعیض موجود باشند. انتخاب‌های خاص طراحی حتی می‌توانند منجر به حبس نادرست، مرگ یا اختلال گسترده در دموکراسی شود.
این به معنای شیطانی جلوه دادن اصل طراحی یا تیم‌های محصول نیست. بیشتر اوقات نیت خیر بوده یا حداقل بدخواهی عمدی‌ای در کار نبوده است. (به جز مورد Cambridge Analytica). بسیاری از ما در محیط‌های پرفشاری بوده‌ایم که در آنها ضرب‌الاجل‌های سخت و تصمیمات خارج از کنترل وجود داشته‌اند. ما می‌توانیم برخی تحلیل‌های ریشه‌ای را روی این نمونه‌ها انجام دهیم و احتمالاً دلایل مختلفی را پیدا می‌کنیم که چرا محصولات به همان شکلی که از ابتدا داشتند به پایان رسیده‌اند.
موضوع سرزنش کردن نیست بلکه درک این مهم است که تصمیمات ما عواقبی واقعی بر زندگی مردم دارد. مسئله در مورد توانمندسازی طراح برای تشخیص فرصت‌هایی است که در آنها می‌توانیم در صورت نادرست بودن چیزی مداخله کنیم.
ما دروازه بان هستیم
کاری که ما تولید می‌کنیم می‌تواند در مقیاس قابل‌توجهی آسیب‌زا باشد. مثلا اگر فیسبوک از رفع مشکلی که ممکن است برای 0.1 درصد از کاربرانش مضر باشد، خودداری کند. دقیقا چه تعداد از کاربرانش آسیب می‌بینند؟ مطمئناً فیسبوک این کاربران را حوزه‌های غیرمتمرکز (موارد لبه‌ای edge case) می‌نامد، درست است؟
این 0.1 درصد 3000000 شامل نفر است. سه میلیون.
آنها انسان‌هایی واقعی هستند، با زندگی و خانواده، امید و رویا. وقتی طرح‌های ما بر افراد در این مقیاس اثر می‌گذارد، ما مسئولیت داریم که تلاش کنیم و آسیب‌های احتمالی را کاهش دهیم.
مقیاس چیزی است که سلاح‌های کشتار جمعی [سلاح‌های کشتار ریاضی] را از مزاحمت‌های محلی به نیروهای سونامی تبدیل می‌کند، نیروهایی که زندگی ما را تعریف و محدود می‌کنند.
سلاح‌های کشتار ریاضی، کتی اونیل (Weapons of Math Destruction, Cathy O’Neil)
ما به‌عنوان طراح خدمات، به طور منحصر به فردی تأثیر گذاریم. ممکن است همیشه آن را دوست نداشته باشیم، اما فقط با حضور در اتاق، دارای مقدار قابل‌توجهی از قدرت هستیم. قدرت ما در تاثیرگذاری بر نتایج بسیار بیشتر از هزاران یا میلیون‌ها نفری است که در نهایت از خدمات ما استفاده می‌کنند.
به‌عنوان طراح، باید خود را دروازه‌بان آنچه به دنیا می‌آوریم و آنچه را که انتخاب می‌کنیم به دنیا نیاوریم ببینیم.
مایک مونتیرو، ویران شده توسط طراحی: چگونه طراحان جهان را ویران کردند، و ما برای رفع آن چه کاری می‌توانیم انجام دهیم (Mike Monterio, Ruined by Design: How Designers Destroyed the World, and What We Can Do to Fix It)
شروع کنید به خود به‌عنوان یک دروازه‌بان فکر کنید. و به یاد داشته باشید که شما قدرت سوال پرسیدن و گفتگوهای چالش‌برانگیزی را دارید. خیلی از اوقات به این چیزها توجه نمی‌کنیم زیرا فرض می‌کنیم که مسئولیت متوجه شخص دیگری است. این مسئولیت شماست، آن را به عهده بگیرید.
شما چه فکر می‌کنید؟
- آیا «نیت خوب» هنگام طراحی اهمیت دارد؟ کافی است؟
- چه کسی مسئول محصولات و خدماتی است که ما به‌عنوان طراح خلق می‌کنیم؟
