تبعیض الگوریتمی در اروپا: چالش‌ها و فرصت‌ها برای برابری جنسیتی و قانون عدم تبعیض

خلاصه اجرایی

در سال‌های اخیر، داستان‌های رسانه‌ای و مقالات علمی درباره تبعیض الگوریتمی (Algorithmic Discrimination) رونق یافته‌اند. به عنوان مثال، در سال ۲۰۱۹ مشخص شد که الگوریتم اپل‌کارد (AppleCard) به‌رغم امتیاز اعتباری بالاتر زنان، سقف اعتباری بیشتری به مردان نسبت به زنان اعطا می‌کند. در سال ۲۰۱۴، آمازون یک نمونه اولیه الگوریتمی استخدام را توسعه داد که بعداً مشخص شد که علیه زنان تبعیض قائل می‌شود و مجبور به متوقف کردن آن شد. یک مطالعه تجربی اخیر نشان داد که هدف‌گیری تبلیغات آنلاین می‌تواند کلیشه‌ها و تفکیک را در بازار کار تقویت کند: در طول آزمایش، محققان از پلتفرم تبلیغاتی فیس‌بوک برای انتشار بی‌طرفانه آگهی‌های استخدامی مختلف استفاده کردند. در پایان، موقعیت‌های صندوقدار در سوپرمارکت‌ها به مخاطبانی متشکل از ۸۵ درصد زنان رسید، در حالی که تبلیغات موقعیت‌های راننده تاکسی به ۷۵ درصد مخاطبان سیاه‌پوست و تبلیغات مشاغل چوب‌بری به مخاطبانی رسید که ۹۰ درصد مرد و ۷۲ درصد سفیدپوست بودند. یک اجماع جهانی در میان محققان و سیاستگذاران ایجاد شده است که مخاطرات تبعیض الگوریتمی فراگیر و چندوجهی است. در این زمینه، درک این مخاطرات و انواع چالش‌های قانونی که ایجاد می‌کنند، کلید تضمین برابری و مبارزه با تبعیض است.

وایت پیپری (ورق سفید) که کمیسیون اروپا در سال ۲۰۱۹ در مورد هوش مصنوعی منتشر کرد، تشخیص داد که استفاده روزافزون از الگوریتم‌ها در اروپا مخاطرات خاصی را در زمینه حمایت از حقوق بنیادین و به ویژه در زمینه برابری و عدم تبعیض ایجاد می‌کند. چنین مخاطراتی توسط راهبرد برابری جنسیتی ۲۰۲۰-۲۰۲۵ کمیسیون اروپا که تصدیق می‌کند «هوش مصنوعی در معرض خطر تشدید نابرابری‌های جنسیتی قرار دارد» نیز به رسمیت شناخته شده است. در پاسخ، اتحادیه اروپا خواستار ایجاد یک «اکوسیستم اعتماد» شده که نیاز دارد تا «هوش مصنوعی اروپایی مبتنی بر ارزش‌ها و حقوق بنیادین [اتحادیه اروپا] استوار باشد» که در میان آن‌ها حق برابری و عدم تبعیض از اهمیت محوری برخوردار است.

این گزارش بررسی می‌کند که تبعیض الگوریتمی چگونه مجموعه ضمانت‌های قانونی موجود در اروپا برای مبارزه با تبعیض و تضمین رفتار برابر را به چالش می‌کشد. گزارش حاضر به طور خاص، بررسی می‌کند که آیا و چگونه چارچوب قانونی برابری جنسیتی و عدم تبعیض موجود در اتحادیه اروپا می‌تواند تبعیض‌های الگوریتمی را به‌خوبی شناسایی و جبران کند یا خیر. این گزارش، شکاف‌ها و ضعف‌هایی را که در سطح اتحادیه اروپا و سطح ملی از تعامل بین انواع خاص تبعیض که هنگام استفاده از الگوریتم‌ها در سیستم‌های تصمیم‌گیری از یک سو و از سوی دیگر، دامنه موضوعی و شخصی چارچوب‌های موجود ایجاد می‌شوند را بررسی می‌کند. این گزارش همچنین راه‌حل‌های قانونی موجود، اقدامات سیاستی همراه و عملکرد خوب را برای رسیدگی و رفع تبعیض‌های الگوریتمی در سطح اتحادیه اروپا و ملی ترسیم می‌کند. علاوه بر این، گزارش حاضر، مجموعه یکپارچه‌ای از راه‌حل‌های قانونی، مبتنی بر دانش و فناوری را برای مشکل تبعیض الگوریتمی پیشنهاد می‌کند.

الگوریتم‌ها و تبعیض: در مورد چه چیزی صحبت می‌کنیم؟

فصل نخست گزارش، زمینه را برای بحث در مورد مشکلات مختلف ناشی از الگوریتم‌ها در رابطه با حقوق برابری جنسیتی و عدم تبعیض فراهم می‌کند. این فصل تعاریف کلیدی و نیز مقدمه‌ای بر کاربردهای مختلف الگوریتم‌ها و انواع الگوریتم‌های فعلاً مورد استفاده را ارائه می‌دهد. از آنجا که فناوری‌های الگوریتمی مختلف، چالش‌های متفاوتی را برای حقوق برابری جنسیتی و عدم تبعیض ایجاد می‌کنند، تمایز بین انواع و مسائل خاص هرکدام حائز اهمیت است. بخش دوم از فصل نخست در مورد انواع الگوریتم‌ها عمدتاً خطاب به خوانندگانی است که با انواع مختلف فناوری‌های الگوریتمی و ویژگی‌های آنها آشنا نیستند، از این رو خوانندگانی که با آنها آشنا هستند ممکن است بخش ۱-۲ را نادیده بگیرند و مستقیماً به بخش ۱-۳ بروند. بخش ۱-۳، خواننده را از طریق مراحل مختلفی که تبعیض می‌تواند به الگوریتم‌ها راه پیدا کند، راهنمایی می‌کند. از طراحی تا استفاده، و از برنامه‌ریزی تا توسعه و تصمیم‌گیری، سوگیری می‌تواند به روش‌های مختلف بر الگوریتم‌ها اثر بگذارد.

فصل نخست همچنین توضیح می دهد که چگونه پیش‌داوری‌ها و کلیشه‌های انسانی و نیز نابرابری‌های ساختاری اجتماعی منعکس‌شده در داده‌های مورد استفاده برای آموزش الگوریتم‌ها، می‌تواند به الگوریتم‌های تبعیض‌آمیز منجر شود. با ترکیب این بینش‌های مختلف، بخش محوری فصل نخست، ۶ چالش عمده الگوریتم‌ها در زمینه حقوق برابری جنسیتی و عدم تبعیض را برجسته می‌سازد:

۱) عامل انسانی و چالش کلیشه‌سازی و سوگیری شناختی توضیح می‌دهد که چگونه سوگیری‌های ضمنی، کلیشه‌های مضر و پیش‌داوری‌های تبعیض‌آمیز توسط انسان‌ها، خطر آلوده‌کردن الگوریتم‌هایی که توسط انسان ایجاد می‌شوند را دارد و چگونه سوگیری‌های تکیه‏گاهی و خودکارسازی این خطرات را تقویت می‌کنند.

۲) چالش داده‌ها توضیح می‎دهد که چگونه داده‌ها الگوهای تاریخی تثبیت‌شده تبعیض که ساختار جامعه را شکل می‌دهند را بازتاب می‌دهند و چگونه آموزش الگوریتم‌ها با چنین داده‌های سوگیرانه‌ای، یا با داده‌های نادرست، نامعرف یا نامتوازن، به بازتولید نابرابری‌های ساختاری توسط این الگوریتم‌ها منجر می‌شود.

۳) چالش همبستگی و نمایندگی (نیابتی، پروکسی) – چالش همبستگی توضیح می‌دهد که چگونه الگوریتم‌ها می‌توانند همبستگی‌های تبعیض‌آمیز را از طریق تبدیل آن‌ها به روابط علّی و استفاده از آن‌ها به عنوان مبنایی برای تصمیم‌گیری‌ها، توصیه‌ها یا پیش‌بینی‌های بعدی، تحکیم و اجرا کنند (به عنوان مثال، جنسیت ممکن است به طور منفی با عملکرد کاری همبسته باشد، نه به دلیل رابطه علّی، بلکه به این دلیل که زنان در طول تاریخ به طور مداوم نسبت به مردان برای عملکرد کاری یکسان ارزیابی منفی‌تری داشته‌اند)؛ در حالی که چالش نیابتی توضیح می‌دهد که حذف ویژگی‌های محافظت‌شده از مجموعه متغیرهای ورودی در دسترس با توجه به توانایی الگوریتم‌های یادگیری در شناسایی نماینده‌های این ویژگی‌های محافظت ‌شده کافی نیست.

۴) چالش شفافیت و توضیح‌پذیری به مشکلات در نظارت و اثبات تبعیض الگوریتمی به دلیل عدم شفافیت برخی از انواع الگوریتم‌ها (حتی برای دانشمندان رایانه) و فقدان اطلاعات درباره کارکرد درونی آنها (به ویژه هنگامی که کدها و داده‌ها محرمانه هستند) اشاره دارد.

۵) چالش مقیاس و سرعت توضیح می‌دهد که چگونه تبعیض الگوریتمی می‌تواند در مقیاس وسیع‌تر و سرعت بسیار بالاتری نسبت به تبعیض «انسانی» «گسترش» یابد، چرا که الگوریتم‌ها هم سرعت تصمیم‌گیری و هم مقیاس آن را افزایش می‌دهند.

۶) چالش مسئولیت، تعهد و پاسخگویی، دشواری تشخیص این است که چه کسی باید در بافت روابط پیچیده انسان-ماشین، با توجه به درگیر بودن طرف‌های متعدد در طراحی، تجاری‌سازی و استفاده از الگوریتم‌ها، مسئول، متعهد و/یا پاسخگوی نتیجه تبعیض‌آمیز باشد.

فصل نخست با بحث کوتاهی درباره اصطلاحات به کار رفته در این گزارش پایان می‌یابد. اگرچه دانشمندان علوم رایانه، علمای اخلاق و رسانه‌ها اغلب به مفهوم «سوگیری الگوریتمی» (Algorithmic Bias) اشاره می‌کنند، انتخاب نویسندگان این گزارش برای صحبت از «تبعیض الگوریتمی» را می‌توان از متن حقوق برابری جنسیتی و عدم تبعیض درک کرد. بخش پایانی فصل نخست همچنین به بررسی تعاملات حقوق برابری با حقوق حفاظت از داده‌ها –به مثابه یک حوزه تنظیم‎گری بسیار مرتبط در بافت مسئله تبعیض الگوریتمی- می‌پردازد.

تبعیض الگوریتمی: چه چالش‌هایی برای حقوق برابری جنسیتی و عدم تبعیض اتحادیه اروپا وجود دارد؟

فصل دوم این گزارش بر مبنای بینش‌های ارائه شده در فصل نخست، مخاطرات تبعیض الگوریتمی را در بافت چارچوب قانونی اتحادیه اروپا برای حمایت در برابر تبعیض تجزیه و تحلیل می‌کند. این فصل بررسی می‌کند که حقوق برابری اتحادیه اروپا تا چه اندازه برای شناسایی و جبران مؤثر تبعیض‌های الگوریتمی مناسب است و می‏تواند شکاف‌ها و ضعف‌های حمایت قانونی موجود را تحلیل ‌کند. این فصل استدلال می‌کند که اگرچه حقوق برابری جنسیتی و عدم تبعیض اتحادیه اروپا تضمین‌های مهمی را ارایه می‏دهد، اما برخی ناسازگاری‌ها، ابهام‎ها و کاستی‌ها را نیز دارد که توانایی آن را برای تشخیص تبعیض الگوریتمی در اشکال مختلف محدود می‌کند.

با توجه به دامنه حقوق برابری اتحادیه اروپا، عدم حمایت در برابر تبعیض بر اساس سن، توان‏خواهی، گرایش جنسی و مذهب یا اعتقادات در حوزه کالاها و خدمات نشان‌دهنده شکافی بزرگ در عصری است که الگوریتم‌ها به طور فزاینده‌ای برای پروفایل‌سازی و هدف‌گذاری مردم برای اهداف فروش استفاده می‌شوند. اگرچه حفاظت در برابر تبعیض بر اساس نژاد یا منشاء قومی جامع است، استثنائات مربوط به حوزه دستورالعمل کالاها و خدمات جنسیتی (۲۰۰۴/۱۱۳/EC) در رابطه با رسانه‌ها، تبلیغات و آموزش بسیار مشکل‌ساز است. این خلأها در چارچوب قانونی، مقدار مجاز مخاطرات تبعیض‌آمیز ناشی از استفاده از الگوریتم‌ها که حقوق برابری اتحادیه اروپا مجاز می‏شمارد را تضعیف می‌کند.

علاوه بر این، انواع خاص و در حال تغییر تبعیض تولیدشده توسط الگوریتم‌ها نیازمند سازگاری مفاهیم و دسته‌بندی‌های دکترینی عدم تبعیض اتحادیه اروپا هستند. تبعیض نیابتی حدود فهرست جامع ویژگی‌های محافظت‌شده تعریف‌شده در ماده ۱۹ عهدنامه اتحادیه اروپا و بر وضعیت و جایگاه فهرست غیرجامع ویژگی‌های محافظت‌شده موجود در ماده ۲۱ منشور حقوق بنیادین اتحادیه اروپا نوری تازه می‌افکند. پروفایل‌سازی الگوریتمی مبتنی بر تجزیه و تحلیل دقیق داده‌های رفتاری و شخصی خطرات افزایش یافته تبعیض تلاقی‌گرا را در پی دارد، نوعی تبعیض که تاکنون دیوان دادگستری به‌طور کافی به رسمیت نشناخته است.

همچنین، انواع خاص و متغیر تبعیض تولیدشده توسط الگوریتم‌ها، نیازمند سازگاری مفاهیم و دسته‌بندی‌های عقیده‏ای عدم تبعیض اتحادیه اروپا هستند. تبعیض نیابتی، مرزهای فهرست جامع زمینه‌های محافظت‌شده تعریف‌شده در ماده ۱۹ عهدنامه اتحادیه اروپا را زیر سؤال برده و نوری تازه بر نقش و جایگاه فهرست غیرجامع زمینه‎های حفاظت‎شده که در ماده ۲۱ منشور حقوق اساسی اتحادیه اروپا یافت می‌شود، می‌افکند. پروفایل الگوریتمی بر اساس تجزیه و تحلیل دقیق داده‌های شخصی و رفتاری، مستلزم افزایش مخاطرات تبعیض متقاطع (Intersectional Discrimination) است، نوعی تبعیض که دیوان دادگستری تاکنون به‌طور کافی به رسمیت نشناخته است.

علاوه بر این، تبعیض الگوریتمی، پارادایم‌های عقیده‎ای استاندارد حقوق عدم تبعیض ملی و اتحادیه اروپا را به چالش می‌کشد و به ویژه مرزهای بین تبعیض مستقیم و غیرمستقیم را مبهم می‌کند. با توجه به مشکلات موجود در ردیابی رفتار متفاوت بر اساس زمینه‌های محافظت‌شده در الگوریتم‌های «جعبه سیاه»، مفهوم تبعیض غیرمستقیم ممکن است به یک «پناهگاه» مفهومی برای دربر گرفتن بی‌عدالتی‌های تبعیض‌آمیز الگوریتم‌ها تبدیل شود. فصل ۲ همچنین نشان می‌دهد که چگونه پرسش‎های مربوط به شواهد، مسئولیت و اجرا در بافت چالش شفافیت و توضیح‌پذیری مطرح‌شده در بالا پیچیده‌تر می‌شود. به‌طور کلی، تبعیض الگوریتمی نوری تازه بر بسیاری از مشکلات و انتقادات «سنتی» حقوق برابری جنسیتی و عدم تبعیض اتحادیه اروپا می‌افکند. گزارش حاضر استدلال می‌کند که اگر تنظیم‎کنندگان و سیاست‌گذاران اتحادیه اروپا قصد دارند حمایت حقوقی مؤثر در برابر تبعیض الگوریتمی را تضمین کنند، این مسائل باید الان بیش از هر زمان دیگری با توجه به «چالش مقیاس و سرعت» مطرح شده در بالا جدی گرفته شوند.

چالش‌های حقوقی تبعیض الگوریتمی در کشورهای اروپایی

با توجه به این مشاهده که بیشتر مثال‌های تبعیض الگوریتمی و بخش قابل توجهی از ادبیات علمی موضوع به زمینه آمریکا اشاره دارد، فصل سوم این گزارش به چالش‌های خاص تبعیض الگوریتمی که در سطح ملی در اروپا به وجود می‌آید، اختصاص داده شده است. فصل ۳ با بررسی گسترده استفاده از الگوریتم‌ها در بخش عمومی و خصوصی ۳۱ کشور (تمام ۲۷ عضو اتحادیه اروپا، کشورهای منطقه اقتصادی اروپا و بریتانیا) آغاز می‌شود. در اروپا، الگوریتم‌ها توسط مراجع عمومی در حوزه‏های مختلف از جمله خط‌مشی‌های بازار کار (مانند مشخصات جویندگان کار و تخصیص منابع)، رفاه اجتماعی (به عنوان مثال برای پیش‌بینی مخاطرات حاشیه‌نشینی اجتماعی)، آموزش (به عنوان مثال برای رتبه‌بندی، انتخاب و توزیع داوطلبان در مؤسسات آموزش عالی)، پلیس و تشخیص تقلب (به عنوان مثال برای تشخیص فرار مالیاتی و تقلب و پیش‌بینی مخاطرات جرم)، اجرای عدالت (به عنوان مثال برای حمایت از تصمیم‌گیری قضایی یا پیش‌بینی آن) و تنظیم رسانه‌های اجتماعی (به عنوان مثال برای شناسایی و مهار خشونت کلامی و نفرت‎پراکنی برخط) استفاده می‌شوند. در بخش خصوصی اروپا، الگوریتم‌ها در زمینه‌هایی مانند استخدام و کار پلتفرمی (به عنوان مثال در فرایندهای استخدام منابع انسانی یا در تخصیص کار در پلتفرم‌های برخط)، بانکداری و بیمه (به عنوان مثال برای پیش‌بینی ریسک‌های اعتباری و محاسبه خسارات بیمه) و تبلیغات هدفمند، تعیین قیمت و خرده‌فروشی (به عنوان مثال برای شخصی‌سازی قیمت‌ها و پیشنهادها و انتشار آگهی‌ها) استفاده می‌شوند.

فصل ۳ همچنین مشکلات خاصی را که در رابطه با تصمیم‌گیری‌های به پشتیبانی الگوریتمی در این کشورها به وجود می‌آیند، ترسیم می‌کند و نمونه‌های عینی از این مسائل را ارائه می‌دهد. کارشناسان ملی، شش مجموعه خاص از مسائل تبعیض را در رابطه با استفاده از الگوریتم‌ها در کشورهای خود گزارش می‌کنند که عمدتاً منعکس‌کننده ویژگی‌ها و چالش‌های الگوریتم‌های مورد بحث در فصل ۱ است:

۱) سوگیری در داده‌ها (به عنوان مثال استفاده از ویژگی‌های محافظت‌شده و داده‌های ساختاری مغرضانه در الگوریتم‌های مورد استفاده برای پیش‌بینی مخاطرات بیکاری)؛

۲) اثرات تبعیض‌آمیز الگوریتم‌ها (به عنوان مثال اثرات تحقیرآمیز نظارت بیش از حد بر «محله‌های مشکل‌دار» توسط الگوریتم‌های تشخیص تقلب یا هدف‌گذاری رفتاری و قیمت‌گذاری شخصی تبعیض‌آمیز)؛

۳) مشکلات شفافیت و فقدان اطلاعات (به عنوان مثال ناممکن بودن دسترسی قضات، سازمان‌های جامعه مدنی، مصرف‌کنندگان یا مراجع عمومی به اطلاعات در مورد اینکه آیا یک الگوریتم تبعیض‌آمیز است یا خیر)؛

۴) دشواری در تشخیص و شناسایی تبعیض الگوریتمی (به ویژه مشکلات کاربران و قربانیان بالقوه برای شناسایی و اثبات تبعیض الگوریتمی حتی انواع بدیهی آن)؛

۵) مسائل مربوط به مسئولیت (به عنوان مثال شناسایی اینکه کدام‌یک از افراد و نهادهای متعدد درگیر در طراحی و استفاده از الگوریتم‌ها، مسئول تبعیض هستند و همچنین مسائل صلاحیت قضایی هنگامی که این سازمان‌ها به صورت جهانی مستقر شده‌اند)؛

۶) شکاف دیجیتال جنسیتی در اروپا (یعنی کم‌رنگ شدن زنان و گروه‌های اقلیت در علوم، فناوری و آموزش مهندسی و حرفه‌ها).

فصل سوم سپس بحث می‌کند که چگونه افکار عمومی، جوامع علمی و سیاست‌گذاران به این مسائل در سطح ملی در ۳۱ کشور پرداخته‌اند. به‌طور کلی، به نظر می‌رسد که آگاهی عمومی از مسئله تبعیض الگوریتمی و اقدامات عمومی علیه آن به عنوان یک موضوع خاص در اروپا همچنان محدود است. هنگامی که این موضوع مورد بحث قرار می‌گیرد، اغلب تنها به عنوان بخشی از مجموعه گسترده‌تری از نگرانی‌ها مربوط به حفاظت از داده‌ها و حقوق بنیادین در زمینه هوش مصنوعی به‌طور کلی در نظر گرفته می‌شود. مباحث علمی ملی نیز بیشتر تمایل دارند مسئله تبعیض را از زاویه حفاظت از داده‌ها به جای حقوق برابری بررسی کنند و ادبیات حقوقی خاص در مورد چالش‌های مطرح شده توسط الگوریتم‌ها برای حقوق عدم تبعیض ملی تاکنون محدود مانده است. اگرچه برخی بحث‌های سیاست‌گذاری در برخی از کشورهای اروپایی وجود دارد، کارشناسان ملی گزارش می‌دهند که تاکنون هیچ قانون جدید یا اصلاحات قانون‌گذاری برای مقابله با مشکلات تبعیض الگوریتمی تصویب نشده است. در ارزیابی چارچوب حقوقی موجود در کشور خود، کارشناسان ملی گزارش می‌دهند که اگرچه حقوق برابری جنسیتی و عدم تبعیض، حقوق حفاظت از داده‌ها و همچنین قوانین خاص فناوری، قوانین بخشی و مقررات کلی کیفری و مدنی می‌توانند در مقابله با تبعیض الگوریتمی نقش داشته باشند، اما شکاف‌های خاصی وجود دارد که می‌تواند به فقدان جبران خسارت در سطح ملی منجر شود. شکاف‌های یادشده با آنچه پیشتر شناسایی شده است، مطابقت دارد و عمدتاً به محدودیت‌های دامنه و ناتوانی قوانین فعلی در مقابله با ویژگی‌های خاص تبعیض الگوریتمی مربوط می‌شود. در اکثر کشورهای اروپایی، دادگاه‌های ملی هنوز با نابرابری یا تبعیض جنسیتی ناشی از الگوریتم‌ها روبه‌رو نشده‌اند. زمانی که قضات موارد مرتبط با الگوریتم‌ها را مد نظر قرار داده‌اند، این موارد معمولاً به مسائل متفاوتی مانند شفافیت و حفاظت از داده‌ها مربوط می‌شود. به‌رغم میزان محدود دادرسی، پرونده‌های مرتبط با تبعیض الگوریتمی در حال حاضر در دادگاه‌های ملی برخی از کشورها در جریان است و این تحولات نیاز به پیگیری نزدیک دارند.

تضمین برابری الگوریتمی: راه‌حل‌ها و فرصت‌ها برای برابری جنسیتی و عدم تبعیض

اگرچه گزارش به تعدادی چالش، ریسک و مشکل مرتبط با استفاده از الگوریتم‌ها در زمینه تضمین برابری جنسیتی و مبارزه با تبعیض اشاره می‌کند، فصل آخر با یک دیدگاه مثبت‌تر به پایان می‌رسد. فصل ۴ با برجسته‌کردن تعدادی از فواید و فرصت‌ها برای برابری جنسیتی و عدم تبعیض که از افزایش استفاده از الگوریتم‌ها پدید می‏آید، آغاز می‌شود. به ویژه، در مقابل مغز انسان، الگوریتم‌ها فرصت‌هایی برای تصویرسازی بهتر، اندازه‌گیری، تشخیص و نهایتاً اصلاح سوگیری‌های تبعیض‌آمیز را فراهم می‌کنند، به شرط اینکه مقررات‌گذاری حقوقی و سیاست عمومی مناسب در جای خود قرار بگیرد. به عنوان مثال، الگوریتم‌ها، فرصت‌های تازه‌ای را برای تشخیص تبلیغات شغلی تبعیض‌آمیز در مقیاس وسیع و همچنین برای افزایش برابری جنسیتی در فرایندهای استخدام فراهم می‌کنند.

برخلاف فقدان اصلاحات قانون‌گذاری خاص که در فصل ۳ پوشش داده شده است، فصل ۴ بینش‌هایی را در مورد یک طیف وسیع از شیوه‌های عمومی و خصوصی خوب در سطح ملی برای نظارت بر تبعیض الگوریتمی و رسیدگی به آن و همچنین تنوع‌بخشی به جوامع حرفه‌ای مربوطه ارائه می‌دهد. این موارد شامل ایجاد نهادهای نظارتی و ناظر تخصصی، ایجاد ابزارهای حقوق نرم مانند کدهای اخلاقی، رویه‌های خودنظارتی مانند کدهای اختیاری رفتار، انتشار توصیه‌نامه‌ها و دستورالعمل‌ها، همکاری بین آژانس‌های حفاظت از داده‌ها و نهادهای برابری و ایجاد اتحادیه‌های عمومی-خصوصی می‌شود. سیاست‌های عمومی مختلف و ابتکارات خصوصی نیز برای تنوع‌بخشی به آموزش مرتبط با فناوری اطلاعات و حرفه‌ها در اروپا راه‌اندازی شده‌اند که بخش مهمی از ایجاد هوش مصنوعی غیرتبعیض‌آمیز است. با این حال، این اقدامات به طور غالب بر برابری جنسیتی تمرکز دارند و نه بر تنوع‌بخشی جامع‌تر به آموزش و حرفه‌های مرتبط با فناوری اطلاعات. در واقع، نمایندگی بهتر همه گروه‌های اقلیت در این زمینه‌ها می‌تواند از تنوع دیدگاه‌ها حمایت کند که گام حیاتی نخست به سمت برابری الگوریتمی است.

این گزارش با پیشنهاد یک چارچوب یکپارچه جدید که مجموعه‌ای از اقدامات و راه‌حل‌های حقوقی، آموزشی و مبتنی بر دانش را برای پیشگیری، رسیدگی و جبران تبعیض الگوریتمی ارائه می‌دهد، به پایان می رسد.

در سطح حقوقی، این اقدامات به ویژه شامل تصویب پیش‌نویس دستورالعمل افقی تحت مذاکره در شورای اتحادیه اروپا از سال ۲۰۰۸ برای برابر کردن دامنه قوانین عدم تبعیض اتحادیه اروپا، رسیدگی به شکاف‌های مرتبط با استثنائات در دامنه موضوعی دستورالعمل خدمات و کالاهای جنسیتی در ارتباط با رسانه‌ها، تبلیغات و آموزش و ایجاد وضوح در ممنوعیت تبعیض متقاطع هستند. در ارتباط با نقش دیوان دادگستری اتحادیه اروپا، تفسیر گسترده از دامنه شخصی حقوق برابری اتحادیه اروپا – هم از نظر دامنه زمینه‌های حمایت‌شده و هم از نظر ماهیت جامع فهرست تعیین‌شده در ماده ۱۹ عهدنامه اتحادیه اروپا در پرتو مقررات پایان-باز (بی‌انتها) ماده ۲۱ منشور – می‌تواند توانایی قانون را در پرداختن به تبعیض الگوریتمی افزایش دهد. علاوه بر این، پیشنهاد می‌شود که مفهوم «دستورالعمل برای تبعیض» (Instruction to Discriminate) به عنوان مکمل مفهومی تبعیض مستقیم و غیرمستقیم استفاده شود تا تناسب مفهومی بهتری برای تبعیض الگوریتمی فراهم آورد و به طور همزمان، مشکلات رویه‌ای و اجرایی را کاهش دهد. در ارتباط با راه‌حل‌های نهادی، پیشنهاد می‌شود که یک سازوکار اجرایی عمومی و جمعی، مانند یک نهاد برابری اتحادیه اروپا، بتواند نظارت و جبران خسارت تبعیض الگوریتمی را به طور قابل توجهی تسهیل کند زیرا بار کنونی طرح دعوای تبعیض الگوریتمی برای قربانیان فردی در بافت چالش شفافیت و توضیح‌پذیری به شدت بالا است. در نهایت، استدلال شده است که اتحادیه اروپا باید ایجاد یک سیستم اعتباردهی برای گواهی و نظارت در ارتباط با تبعیض الگوریتمی را تسهیل کند. این اکوسیستم گواهی و تأییدیه می‌تواند رویکرد «برابری به‎واسطه طراحی» (Equality by Design) را در ساخت الگوریتم‌ها از همان ابتدا ترویج کند، استفاده از الگوریتم‌های غیرتبعیض‌آمیز توسط مؤسسات خصوصی و دولتی را ترویج کند و جبران خسارت را از طریق افزایش شفافیت و توضیح‌پذیری تسهیل نماید.

در سطح راه‌حل‌های مبتنی بر دانش، افزایش آگاهی در مورد مخاطرات تبعیض الگوریتمی در میان قانون‌گذاران، قضات، بازیگران اقتصادی، بخش فناوری اطلاعات و جامعه در کل بسیار مهم است. تأمین مالی تحقیقات درباره تبعیض الگوریتمی نیزکلیدی برای اجرای آگاهانه عملیات در طراحی، استفاده و تنظیم الگوریتم‌ها خواهد بود. نظارت بر تبعیض الگوریتمی باید با ابزارهای گزارش‌دهی که می‌تواند ناظران و افشاگران را به اعلام موارد مشکوک به تبعیض الگوریتمی تشویق کند و به نوبه خود توجه عمومی را به شیوه‌های مشکل‌ساز جلب کند، حمایت شود. در نهایت، آموزش و کارورزی برای پیشگیری و مبارزه با تبعیض الگوریتمی ضروری است: در تشابه با آموزش اخلاقی کارکنان پزشکی، نه تنها متخصصان فناوری اطلاعات بلکه تمام جوامع حرفه‌ای مربوطه از جمله قانون‌گذاران، قضات، نهادهای برابری و غیره باید در مخاطرات تبعیض الگوریتمی و روش‌های مقابله با آن آموزش دیده و تربیت شوند.

در نهایت، راه‌حل‌های فناورانه شامل اجرای راهبردهای پیشگیرانه (ارزیابی‌های تأثیر برابری و راهبردهای برابری طراحی‌شده) در مراحل طراحی، آموزش و ایجاد الگوریتم‎ها هستند. به طور خاص، راهبردهای سوگیری‌زدایی فناورانه مختلف توسط دانشمندان رایانه برای به حداقل رساندن تبعیض الگوریتمی هم در سطح انتخاب داده‌ها، برچسب‌گذاری و استفاده و هم در سطح خود مدل‌های الگوریتمی توسعه داده شده‌اند. راه‌حل‌های فناورانه همچنین می‌توانند پس از وقوع موضوع مداخله کنند، به ویژه از طریق استفاده از الگوریتم‌های غربالگری و ممیزی که می‌توانند تبعیض را تشخیص دهند. چنین ابزارهای فناورانه‌ای می‌توانند در نظارت بر تبعیض الگوریتمی و همچنین در زمینه گواهی عدم تبعیض‌الگوریتم‌ها بسیار مفید باشند. توسعه چنین ابزارهای فناورانه‌ای باید توسط مراجع عمومی اروپایی تشویق شود.

این راه‌حل‌های مختلف حقوقی، مبتنی بر دانش و فناوری باید به شکلی بین‌رشته‌ای ادغام شوند. این گزارش چارچوب PROTECT را به عنوان مجموعه‌ای از توصیه‌های کلیدی برای اقدام عمومی در اروپا پیشنهاد می‌کند. این توصیه‌ها حول هفت اقدام کلیدی تدوین شده‎اند.

توصیه‌ها عبارتند از:

▶ پیشگیری (PREVENT): از طریق تیم‌های متنوع و به خوب آموزش دیده فناوری اطلاعات، ارزیابی تاثیر بر برابری، راهبردهای پیشینی «برابری با طراحی» یا «مشروعیت با طراحی» (Legality by Design)؛

جبران (REDRESS): ترکیب ابزارهای قانونی مختلف در حقوق عدم تبعیض، حقوق حفاظت از داده و غیره به منظور تسهیل انتساب شفاف مسئولیت‌های قانونی، جبران خسارت واضح، قواعد منصفانه اثبات، تفسیر و اعمال انعطاف‌پذیر و پاسخگوی مفاهیم عدم تبعیض؛

باز بودن (OPEN): ترویج شفافیت، به عنوان مثال از طریق الزامات داده‌های باز برای اهداف نظارت (مانند دسترسی به کدهای منبع)

کارورزی (TRAIN): آموزش، ایجاد و انتشار دانش درباره مسائل عدم تبعیض و برابری در میان متخصصان فناوری اطلاعات، افزایش آگاهی در مورد مسائل تبعیض الگوریتمی در میان تنظیم‏گران، قضات، استخدام‌کنندگان، مقامات و جامعه به طور کلی؛

توضیح (EXPLAIN): برقراری الزامات توضیح‌پذیری، پاسخگویی و اطلاعات؛

کنترل (CONTROL): مشارکت فعال انسان (هوش مصنوعی انسان محور)، به عنوان مثال در قالب سیستم‌های انسان در حلقه (HITL) که برای جلوگیری از تأیید کورکورانه، همراه با سازوکارهای نظارت و مشورت (زنجیره کنترل و مشورت با کاربران) طراحی شده‏اند؛

آزمون (TEST): پایش مداوم الگوریتم‌های پرخطر و خروجی آن‌ها، برپاسازی سازوکارهای ممیزی، برچسب‌زنی و صدور گواهی.

دیدگاه ها غیرفعال است