Designing Ethical Technology Requires Systems for Anticipation and Resilience
BY KIRSTEN MARTIN AND BIDHAN (BOBBY) L. PARMAR
برای جلوگیری از بروز خطاهای اخلاقی، سازمان‌ها نیاز به ایجاد سیستم‌هایی دارند که در برابر خطاهای قابل‌پیشگیری و بهبودی و بازیابی خطاهای غیرقابل پیش‌بینی به آنها کمک کنند.
با پیچیده‌تر شدن و عمومیت یافتن کاربردهای فناوری، نگرانی‌ها در مورد استفاده‌ی مسئولانه از آن در سازمان‌ها و جامعه در حال افزایش است. در سال 2019 یک شرکت فناوری استخدام HireVue را برای آزمایش الگوریتم‌های تشخیص چهره با اعمال فیلتر بر اساس حرکات صورت و لحن صدا بر روی متقاضیان شغل آغاز کرد. با شدت گرفتن نگرانی‌های مربوط به تعصب و تبعیض علیه متقاضیان، این شرکت در سال جاری مجبور شد این فناوری را کنار بگذارد، اما سازمان‌ها همچنان به دنبال فناوری‌های نوظهوری هستند که به آنها در استخدام، عملکرد و تخصیص منابع کمک کنند. این فناوری‌ها با چنان سرعت و مقیاسی به این سؤالات پاسخ می‌دهند که رهبران سازمان‌ها به قلمروهای جدیدی که پتانسیل پاداش و خطرات بالاتری را دارند، سوق داده می‌شوند.
پردازش و ذخیره‌سازی رایانه‌ایِ کارآمدتر و ارزان‌تر، شبکه‌های توزیع‌شده و محاسبات مبتنی بر فضای ابری، امکان محاسبات سریع‌تر و پیچیده‌تر را فراهم کرده و موجب می‌شوند تا زمان و مداخله‌ی انسانی مورد نیاز یک شرکت برای ارزیابی یک کارگر، امتیاز اعتباری یا حتی تشخیص پزشکی کاهش یابد. علاوه بر سرعت، هوش مصنوعی با استاندارد کردن تصمیمات و اقدامات افراد مختلف یک سازمان، بر نتایج تأثیر گذاشته و به طور بالقوه، هم میزان پایداری و هم تعصب را افزایش می‌دهد.
در کنار این‌ها، افزایش سرعت و مقیاس در فناوری‌های نوظهور می‌تواند خطاهای اخلاقی را محتمل‌تر، پرهزینه‌تر و بازیابی آنها را سخت‌تر کند. برای کاهش خطاهای اخلاقی، سازمان‌ها به دو نوع سیستم نیاز دارند:
- سیستم‌هایی برای پیش‌بینی؛
- سیستم‌هایی برای تاب آوری.
در این مقاله به بررسی چارچوب‌هایی برای معرفی این سیستم‌ها در سازمان‌های مختلف می‌پردازیم. ما از هوش مصنوعی و نمونه‌های مبتنی بر داده‌های دنیای واقعی استفاده خواهیم کرد، اما این اصول را می‌توان در انواع دیگر فناوری‌های نوظهور هم به کار برد.
الف) ایجاد سیستم‌هایی برای پیش‌بینی
پیش‌بینی عواقب و پیامدهای ناخواسته مستلزم این است که رهبران قبل از به‌کارگیری فناوری درباره منابع احتمالی خطا، اطلاعات کسب کرده و آنها را مدنظر قرار دهند. با جلوگیری از نقص‌های اخلاقی در مرحله‌ی طراحی، می‌توان مانع بروز آسیب‌های مالی و اعتباری در سازمان‌ها شد. مدیران در پیش‌بینی‌های مؤثر خود باید موارد زیر را مدنظر قرار دهند:
1- موفقیت را به صورت گسترده‌تری تعریف کنید.
تأثیر هوش مصنوعی فقط بر سرعت و هزینه‌ها نیست، بلکه اعتماد، شهرت سازمانی و چگونگی روابط با سهامداران کلیدی نیز متاثر از هوش مصنوعی هستند. مدیران در حین اینکه باید اهدافی را که می‌خواهند از طریق هوش مصنوعی به آنها دست یابند تعریف کنند (مانند ثبات)، نیاز است که ارزش‌هایی که باید در حین توسعه و استفاده از هوش مصنوعی به آنها پایبند باشند (مانند شفافیت و انصاف) را هم مشخص نمایند.
2- مراقب اشتباهات رایج باشید.
شرکت‌هایی که ابزارها و تکنیک‌های هوش مصنوعی را توسعه می‌دهند، به منظور کاهش منابع خطا در توسعه‌ی خود باید اشتباهات هوش مصنوعی را گردآوری کرده و مطالعه نمایند. کنفرانس‌های علوم کامپیوتر فرصت‌های مغتنمی را برای درک مسائل شناخته‌شده‌ی هوش مصنوعی در صنایع و تغییر استراتژی‌ها برای پیش‌بینی نقص‌های اخلاقی ارائه می‌دهند. ما در آزمایش‌‌های موجود به اندازه‌ی کافی در مورد تأثیرات متفاوت هوش مصنوعی و مسئله‌ی انصاف و عدالت در کاربردهای آن و روش‌های جلوگیری از این خطاها اطلاعات کسب کرده‌ایم.
یکی دیگر از خطاهای احتمالی رایج، تأثیر هوش مصنوعی بر توزیع قدرت و امتیازدهی در جامعه است.
هوش مصنوعی می‌تواند شیوه‌های اجتماعی ناعادلانه، مانند احکام کیفری طولانی‌تر برای اقلیت‌ها را حفظ کرده یا این نتایج نابرابر را کاهش دهد. توسعه‌دهندگان باید بدانند که چگونه راه‌حل‌هایشان می‌توانند بر قدرت و برتری عده‌ای در جامعه تأثیر بگذارند. این آگاهی تنها در صورتی به دست می‌آید که آنها برای پرس‌و جو و بحث درباره‌ی تاثیرات احتمالی وقت بگذارند. برای کاهش خطرات غیرقابل‌پیش‌بینی در عبور از شکاف‌های کاری، نیاز است که بحث و تبادل نظر در مورد خطاهای احتمالی در آغاز مسیر فرایند توسعه و همچنین در نقاط کلیدی اتفاق بیفتد.
3- در مسیر توسعه تعارض‌های سازنده ایجاد کنید.
یکی دیگر از استراتژی‌های پیش‌بینی اثبات‌شده این است که تیم‌های داخلی با هدف کدنویسی بهتر به دنبال شناخت خطاها باشند. این پروتکل‌ها با نام‌های مختلفی مانند تیم قرمز/تیم آبی و توسعه‌ی رقیب (توسعه‌ی متخاصم) کار می‌کنند و برای شناسایی خطاهای اخلاقی کارگر هستند. بدون داشتن استراتژی‌های صریح برای تقویت تعارض‌های سازنده، ممکن است اطلاعات مهم در مورد خطرات توسط تیم توسعه نادیده گرفته شود، این موضوع، به ویژه زمانی که اعتماد و امنیت روانی در بین اعضای تیم پایین باشد، اهمیت می‌یابد.
4- از ریسک به‌عنوان سکوی پرتاب استفاده کنید.
صنعت داروسازی برای اثبات ایمنی و به حداقل رساندن خطرات داروها، قبل از فروش از یک سری آزمایشات بالینی رو به افزایش استفاده می‌کند. یک درمان بالقوه برای جذب سرمایه‌گذاری بیشتر، باید سکوهای خاصی را در مراحل خاص پشت سر بگذارد. به طور مشابه، ابزارهای هوش مصنوعی را می‌توان در جعبه‌های شنی، با مجموعه‌های داده‌ای که زنده نیستند، به منظور یافتن و رفع خطاها قبل از رفتن به مراحل بعدی توسعه، آزمایش کرد. به‌عنوان مثال، یکی از منشاهای شکست هوش مصنوعی، تفاوت بین مجموعه‌ی آموزشی و داده‌های واقعی هستند و این موضوع در حال تجزیه‌و‌تحلیل است. بنابراین یکی از سکوهای آزمایش می‌تواند یک تحلیل پیرامون اختلاف‌های بین مجموعه‌ی آموزشی و داده‌های «واقعی» باشد تا از این طریق اعتماد به پیشنهادات سیستم هوش مصنوعی تقویت شود.
ب) ایجاد سیستم‌هایی برای تاب‌آوری
شرکت‌ها در مسیر پیش‌بینی اشتباهات معمول باید خطاهایی که به دلیل سرعت و مقیاس پروژه‌های مختلف فناوری قابل‌پیش‌بینی نیستند را نیز بررسی کنند. در این موارد، شرکت‌ها به سیستم‌ها یا مجموعه روش‌هایی برای تاب‌آوری (انعطاف‌پذیری) نیاز دارند تا به آنها برای اصلاح خطاها کمک کنند.
1- راه‌حل‌ها را به‌عنوان بتای دائمی منتشر کنید.
هرگز تصور نکنید که اشتباهات رخ نمی‌دهند؛ آنها همیشه هستند. ضروری‌ست که تمایل به تجدیدنظر، به‌روزرسانی و بهبود راه‌حل‌های فناورانه را همواره در خود حفظ کنید. هوش مصنوعیِ خود را مانند یک نسخه‌ی بتای دائمی در نظر بگیرید که به مرور زمان بهبود می‌یابد و همواره برنامه‌ای برای شناسایی، قضاوت و رفع اشتباهات داشته باشید. این برنامه می‌تواند یک فرایند تجدیدنظر یا یک سیستم «پاداش اشکالات» برای ذینفعان داخلی و خارجی باشد.
2- خود را برای شفافیت آماده کنید.
ذینفعان دلایل خاص خود را برای درک الگوریتم‌ها دارند؛ بنابراین شما باید در موقعیت‌هایی که کار اشتباه پیش می‌رود، انتخاب‌های خود را ارزیابی کنید. وقتی آمازون برنامه‌ای برای قضاوت و اخراج رانندگان تحویل‌دهنده‌ی طراحی کرد، به رانندگان در مورد قرارداد یا آنچه که آنها به‌عنوان یک فرایند تجدیدنظر می‌دانستند توضیحی ارائه نداد. ممکن است ذینفعان خواهان شفافیت در مورد نتایج باشند یا که تصمیمشان اعتراض یا به چالش کشیدن هوش مصنوعی باشد. یا اینکه در نهایت برای دانستن اینکه چه انسان‌هایی مسئول عملکرد هوش مصنوعی‌اند توضیح بخواهند. طبق مقاله‌ی بلومبرگ، برای مدیران آمازون در آن زمان، مادامی که رانندگان به راحتی قابل جایگزینی بودند، اعتماد به الگوریتم‌ها، ارزان‌تر از پرداخت هزینه به افراد برای پیدا کردن مشکل بود.
3- روی تعمیرات حساب کنید.
هنگامی که اشتباهاتی رخ می‌دهند، سازمان متحمل هزینه‌هایی برای محافظت از داده‌ها و ترمیم روابط آسیب‌دیده‌ی ذینفعان می‌شود. ضروری است که رهبران آمادگی لازم برای مواجهه با این قبیل سناریوها را کسب کنند تا متحمل هزینه‌های بعدی آن نشوند.
4- خطاهای اجرا را شناسایی کنید.
کارکنان و محققان برای شناسایی و گزارش خطاها باید احساس امنیت داشته باشند. به روش‌هایی که می‌توانید از طریق آنها ایمنی روانی افشاگران را حفظ کنید بیندیشید و از رهبران سازمان بخواهید صحبت کردن در مورد مسائل و نگرانی‌های اخلاقی را عادی کنند. شناسایی خطاها توسط افراد خارجی به منزله‌ی هدیه‌ای برای بهبود برنامه‌ی شما است:
- «برنامه‌های پاداش باگ» به کسانی که برای شناسایی خطاهای سازمان وقت می‌گذارند، پاداش می‌دهد.
- غیرفعال کردن حساب‌های پژوهشگران و صدور توقف سفارشات تحقیقاتی اعتماد را از بین می‌برد.
5- از تعهدات اجتماعی (پنهان و آشکار) آگاه باشید.
همه‌ی اشتباهات مشابه هم نیستند و برخی از آنها زمینه‌های تاریخی و اجتماعی بحث‌برانگیزتری دارند. زمانی که یک الگوریتم اولویت‌بندی پزشکی، اولویت بیماران سیاه‌پوست مبتلا به بیماری شدید را کاهش داد، به دلیل تاثیر منفی و تشدید شرایط برای افرادی که پیوسته با تبعیض دست‌و‌پنجه نرم می‌کنند، به درستی مورد انتقاد قرار گرفت. هنگام انتخاب چگونگی استقرار هوش مصنوعی، از نحوه‌ی توزیع قدرت توسط برنامه‌های هوش مصنوعی و قابلیت‌های آن برای محروم کردن افراد از حقوق خود آگاه باشید.
استفاده از فناوری جدید در سازمان‌ها با بیم‌ها و امیدهای توامان همراه است. برای تحقق بیشتر وعده‌ها و به حداقل رساندن خطرات، رهبران سازمانی باید از حضور و استحکام سیستم‌ها اطمینان حاصل کنند تا فضا برای پیش‌بینی‌ها و انعطاف‌پذیری‌ها هموارتر شود. هرچه زودتر بتوانیم اشتباهات غیر قابل‌پیش‌بینی و غیرقابل‌لمس فعلی را تشخیص دهیم بهتر می‌توانیم برای جبران اشتباهاتی که نمی‌توانیم پیش‌بینی کنیم آماده شویم.
یکی از راه‌های فکر کردن در مورد توسعه و پیاده‌سازی هوش مصنوعی مقایسه‌ی آن با توسعه‌ی سیاست است. سیاست مجموعه‌ای از قوانین است که می‌تواند میلیون‌ها نفر را به گونه‌ی پیش‌بینی‌نشده‌ای تحت تاثیر قرار دهد. به مانند سیاست، هوش مصنوعی هم درباره‌ی اینکه چه کسی و چگونه تأثیر خواهد گذاشت قضاوت ارزشی می‌کند و این قضاوت‌ها می‌توانند عواقب ناخواسته و غیرمنتطره‌ای در پی داشته باشند. سازمان‌ها می‌توانند با درک قضاوت‌های ارزشی در طول فرایند طراحی و مد نظر قرار دادن پیامدهای اخلاقی هوش مصنوعی در حین استقرار، همگام با پیشرفت فناوری اعتماد ذینفعان را هم به‌دست آورند.
