إنصاف (التعلم الآلي)

يشير الإنصاف (بالإنجليزية: Fairness) في التعلم الآلي (ML) إلى المحاولات المختلفة لتصحيح التحيز الخوارزمي في عمليات اتخاذ القرار الآلية القائمة على نماذج التعلم الآلي. يمكن اعتبار القرارات التي تتخذها مثل هذه النماذج بعد عملية التعلم غير عادلة إذا كانت تستند إلى متغيرات تعتبر حساسة (على سبيل المثال، الجنس، أو العرق، أو التوجه الجنسي، أو الإعاقة).

كما هو الحال مع العديد من المفاهيم الأخلاقية، فإن تعريفات العدالة والتحيز يمكن أن تكون مثيرة للجدل. بشكل عام، تعتبر العدالة والتحيز من الأمور ذات الصلة عندما تؤثر عملية اتخاذ القرار على حياة الناس.

وبما أن القرارات التي تتخذها الآلات قد تكون منحرفة بسبب مجموعة من العوامل، فقد تعتبر غير عادلة فيما يتصل بمجموعات أو أفراد معينين. ومن الممكن أن يكون أحد الأمثلة على ذلك هو الطريقة التي تقدم بها مواقع التواصل الاجتماعي أخبارًا مخصصة للمستهلكين.

السياق

إن المناقشة حول العدالة في التعلم الآلي هي موضوع حديث نسبيًا. منذ عام 2016 كان هناك زيادة حادة في الأبحاث حول هذا الموضوع.^[1] يمكن أن يُعزى هذا الارتفاع جزئيًا إلى تقرير مؤثر صادر عن بروبابليكا والذي زعم أن برنامج كومبس، المستخدم على نطاق واسع في المحاكم الأمريكية للتنبؤ بالعودة إلى الجريمة، كان متحيزًا عنصريًا.^[2] أحد مواضيع البحث والمناقشة هو تعريف العدالة، حيث لا يوجد تعريف عالمي، ويمكن أن تتناقض التعريفات المختلفة مع بعضها البعض، مما يجعل من الصعب الحكم على نماذج التعلم الآلي.^[3] تتضمن موضوعات البحث الأخرى أصول التحيز، وأنواع التحيز، وطرق الحد من التحيز.^[4]

في السنوات الأخيرة، قامت شركات التكنولوجيا بإعداد أدوات ودليل حول كيفية اكتشاف التحيز والحد منه في التعلم الآلي. تحتوي شركة آي بي إم على أدوات لـ بايثون وآر مع العديد من الخوارزميات لتقليل تحيز البرامج وزيادة عدالتها.^[5]^[6] نشرت جوجل إرشادات وأدوات لدراسة التحيز ومكافحته في التعلم الآلي.^[7]^[8] أبلغت شركة فيسبوك عن استخدامها لأداة تُدعى تدفق العدالة للكشف عن التحيز في الذكاء الاصطناعي الخاص بها.^[9] ومع ذلك، فقد زعم المنتقدون أن جهود الشركة غير كافية، حيث أفادوا بقلة استخدام الأداة من قبل الموظفين حيث لا يمكن استخدامها لجميع برامجهم وحتى عندما يمكن استخدامها، فإن استخدام الأداة اختياري.^[10]

من المهم أن نلاحظ أن المناقشة حول الطرق الكمية لاختبار العدالة والتمييز غير العادل في عملية صنع القرار تسبق بعدة عقود المناقشة الحديثة حول العدالة في التعلم الآلي.^[11] في واقع الأمر، ازدهرت مناقشة حية لهذا الموضوع من جانب المجتمع العلمي خلال منتصف الستينيات والسبعينيات، ويرجع ذلك في الأغلب إلى حركة الحقوق المدنية الأميركية، وعلى وجه الخصوص إقرار قانون الحقوق المدنية الأميركي لعام 1964. ومع ذلك، بحلول نهاية سبعينيات القرن العشرين، اختفى النقاش إلى حد كبير، حيث لم تترك المفاهيم المختلفة والمتنافسة في بعض الأحيان للعدالة سوى مجال ضئيل للوضوح حول متى قد يكون أحد مفاهيم العدالة مفضلاً على آخر.

التحيز اللغوي

يشير التحيز اللغوي إلى نوع من التحيز في أخذ العينات الإحصائية المرتبط بلغة الاستعلام والذي يؤدي إلى "انحراف منهجي في أخذ العينات من المعلومات مما يمنعها من تمثيل التغطية الحقيقية للموضوعات والآراء المتاحة في مستودعها بدقة".^{[بحاجة لمصدر أفضل]}^[12] لوو وآخرون^[12] يُظهر أن نماذج اللغات الكبيرة الحالية، نظرًا لتدريبها في الغالب على بيانات باللغة الإنجليزية، غالبًا ما تُقدم وجهات النظر الأنجلو أمريكية على أنها حقيقة، بينما تُقلل بشكل منهجي من أهمية وجهات النظر غير الإنجليزية باعتبارها غير ذات صلة أو خاطئة أو مجرد ضوضاء. عند طرح أسئلة على شات جي بي تي بأيديولوجيات سياسية مثل "ما هي الليبرالية؟"، يصفها، نظرًا لتدريبه على بيانات تركز على اللغة الإنجليزية، من منظور أنجلو أمريكي، مُركزًا على جوانب حقوق الإنسان والمساواة، بينما تغيب جوانب أخرى بنفس القدر من الصحة مثل "معارضة تدخل الدولة في الحياة الشخصية والاقتصادية" من المنظور الفيتنامي السائد و"تقييد سلطة الحكومة" من المنظور الصيني السائد. وبالمثل، تغيب وجهات النظر السياسية الأخرى المُضمنة في مجموعات البيانات اليابانية والكورية والفرنسية والألمانية في إجابات شات جي بي تي. شات جي بي تي، الذي يُعرّف نفسه بأنه روبوت دردشة متعدد اللغات، في الواقع "يتجاهل" في الغالب وجهات النظر غير الإنجليزية.^[12]

التحيز الجنسي

يشير التحيز الجنسي إلى ميل هذه النماذج إلى إنتاج مخرجات تتسم بالتحيز ضد جنس على حساب آخر. وينشأ هذا التحيز عادةً من البيانات التي تُدرَّب عليها هذه النماذج. على سبيل المثال، غالبًا ما تُحدِّد نماذج اللغات الكبيرة الأدوار والخصائص بناءً على معايير النوع الاجتماعي التقليدية؛ فقد تربط الممرضات أو السكرتيرات بالنساء في الغالب، والمهندسين أو الرؤساء التنفيذيين بالرجال.^[13]

التحيز السياسي

يشير التحيز السياسي إلى ميل الخوارزميات إلى تفضيل وجهات نظر أو أيديولوجيات أو نتائج سياسية معينة بشكل منهجي على غيرها. وقد تُظهر نماذج اللغة أيضًا تحيزات سياسية. ونظرًا لأن بيانات التدريب تشمل نطاقًا واسعًا من الآراء والتغطية السياسية، فقد تُنتج النماذج استجابات تميل نحو أيديولوجيات أو وجهات نظر سياسية معينة، وذلك حسب انتشار تلك الآراء في البيانات.^[14]

الخلافات

لقد كان استخدام عملية اتخاذ القرار الخوارزمية في النظام القانوني مجالًا بارزًا للاستخدام قيد التدقيق. في عام 2014، أثار المدعي العام الأمريكي آنذاك إريك هولدر مخاوف من أن أساليب "تقييم المخاطر" قد تركز بشكل غير مبرر على عوامل خارجة عن سيطرة المتهم، مثل مستواه التعليمي أو خلفيته الاجتماعية والاقتصادية.^[15] زعم تقرير عام 2016 الذي أعدته بروبابليكا حول كومبس أن المتهمين السود كانوا أكثر عرضة بمرتين تقريبًا لتصنيفهم بشكل غير صحيح على أنهم أكثر خطورة من المتهمين البيض، بينما ارتكبوا الخطأ المعاكس مع المتهمين البيض.^[2] وقد طعن منشئ كومبس، شركة نورث بوينت، في التقرير، مدعيًا أن أداة الشركة عادلة وأن بروبابليكا ارتكبت أخطاء إحصائية،^[16] وهو ما دحضته بروبابليكا مرة أخرى لاحقًا.^[17]

وقد لوحظ أيضًا التحيز العنصري والجنساني في خوارزميات التعرف على الصور. لقد تبين أن الكشف عن الوجه والحركة في الكاميرات يتجاهل أو يخطئ في تسمية تعبيرات الوجه للأشخاص غير البيض.^[18] في عام 2015، اعتذرت شركة جوجل بعد أن قامت خدمة جوجل صور عن طريق الخطأ بتصنيف زوجين من السود على أنهما غوريلا. وبالمثل، وجد أن ميزة وضع العلامات التلقائية على موقع فليكر قد وصفت بعض السود بأنهم "قردة" و"حيوانات".^[19] وُجِد أن مسابقة الجمال الدولية لعام 2016 التي تم الحكم عليها بواسطة خوارزمية الذكاء الاصطناعي كانت متحيزة تجاه الأفراد ذوي البشرة الفاتحة، ويرجع ذلك على الأرجح إلى التحيز في بيانات التدريب.^[20] وجدت دراسة أجريت على ثلاث خوارزميات تصنيف جنساني تجارية في عام 2018 أن الخوارزميات الثلاث كانت الأكثر دقة بشكل عام عند تصنيف الذكور ذوي البشرة الفاتحة والأسوأ عند تصنيف الإناث ذوات البشرة الداكنة.^[21] في عام 2020، أظهرت أداة قص الصور من تويتر تفضيلها للوجوه ذات البشرة الفاتحة.^[22] في عام 2022، أوضح مبتكرو نموذج تحويل النص إلى صورة دال-إي 2 أن الصور المولدة كانت نمطية بشكل كبير، بناءً على سمات مثل الجنس أو العرق.^[23]^[24]

وتشمل المجالات الأخرى التي تستخدم فيها خوارزميات التعلم الآلي، والتي ثبت أنها متحيزة، طلبات التوظيف والقروض. استخدمت أمازون برامج لمراجعة طلبات التوظيف كانت متحيزة ضد المرأة، على سبيل المثال من خلال معاقبة السير الذاتية التي تضمنت كلمة "نساء".^[25] في عام 2019، أعطت خوارزمية أبل لتحديد حدود بطاقات الائتمان لبطاقة بطاقة أبل الجديدة حدودًا أعلى بكثير للذكور مقارنة بالإناث، حتى بالنسبة للأزواج الذين يتشاركون أموالهم.^[26] أظهرت دراسة أجرتها شركة ذا مارك أب ‏ في عام 2021 أن خوارزميات الموافقة على الرهن العقاري المستخدمة في الولايات المتحدة أكثر عرضة لرفض المتقدمين غير البيض.^[27]

القيود

تؤكد الأعمال الأخيرة على وجود العديد من القيود على المشهد الحالي للعدالة في التعلم الآلي، وخاصة عندما يتعلق الأمر بما يمكن تحقيقه بشكل واقعي في هذا الصدد في التطبيقات المتزايدة باستمرار للذكاء الاصطناعي في العالم الحقيقي.^[28]^[29]^[30]على سبيل المثال، قد يعتمد النهج الرياضي والكمي لإضفاء الطابع الرسمي على العدالة، والنهج المرتبطة به لإزالة التحيز، على افتراضات مبسطة للغاية ويسهل إغفالها، مثل تصنيف الأفراد إلى مجموعات اجتماعية محددة مسبقًا. ومن بين الجوانب الحساسة الأخرى، على سبيل المثال، التفاعل بين العديد من الخصائص الحسية،^[21] والافتقار إلى مفهوم فلسفي و/أو قانوني واضح ومشترك بشأن عدم التمييز.

أخيرًا، مع إمكانية تصميم نماذج التعلم الآلي للالتزام بمعايير الإنصاف، إلا أن القرارات النهائية التي يتخذها العاملون البشريون قد تتأثر بتحيزاتهم الشخصية. تحدث هذه الظاهرة عندما لا يقبل صانعو القرار توصيات الذكاء الاصطناعي إلا إذا كانت متوافقة مع تحيزاتهم المسبقة، مما يُقوّض العدالة المنشودة للنظام.^[31]

معايير العدالة الجماعية

في مشاكل التصنيف، تتعلم الخوارزمية دالة للتنبؤ بخاصية منفصلة ${\textstyle Y}$ ، المتغير المستهدف، من الخصائص المعروفة ${\textstyle X}$ . نحن نمذج ${\textstyle A}$ كمتغير عشوائي منفصل يشفر بعض الخصائص المضمنة أو المشفرة ضمناً في ${\textstyle X}$ التي نعتبرها خصائص حساسة (الجنس، العرق، التوجه الجنسي، وما إلى ذلك). ونشير أخيرا إلى ذلك بـ ${\textstyle R}$

${\textstyle R}$ التنبؤ بالمصنف. الآن دعونا نحدد ثلاثة معايير رئيسية لتقييم ما إذا كان المصنف المعطى عادلاً، أي ما إذا كانت تنبؤاته لا تتأثر ببعض هذه المتغيرات الحساسة.^[32]

الاستقلال

نقول المتغيرات العشوائية ${\textstyle (R,A)}$ إرضاء الاستقلال إذا كانت الخصائص الحساسة ${\textstyle A}$ مستقلة إحصائيًا عن التنبؤ ${\textstyle R}$ ، ونحن نكتب $R\bot A.$ ويمكننا أيضًا التعبير عن هذا المفهوم بالصيغة التالية: $P(R=r\ |\ A=a)=P(R=r\ |\ A=b)\quad \forall r\in R\quad \forall a,b\in A$ وهذا يعني أن معدل التصنيف لكل فئات الهدف متساوٍ للأشخاص المنتمين إلى مجموعات مختلفة فيما يتعلق بالخصائص الحساسة $A$ .

يمكن إعطاء تعبير مكافئ آخر للاستقلال باستخدام مفهوم المعلومات المتبادلة بين المتغيرات العشوائية، والذي يُعرَّف بأنه $I(X,Y)=H(X)+H(Y)-H(X,Y)$ في هذه الصيغة، ${\textstyle H(X)}$ هي إنتروبيا المتغير العشوائي $X$ . ثم ${\textstyle (R,A)}$ إرضاء الاستقلال إذا ${\textstyle I(R,A)=0}$ .

قد يتضمن التخفيف المحتمل لتعريف الاستقلال إدخال تراخي إيجابي ${\textstyle \epsilon >0}$ ويتم إعطاؤها بالصيغة: $P(R=r\ |\ A=a)\geq P(R=r\ |\ A=b)-\epsilon \quad \forall r\in R\quad \forall a,b\in A$

وأخيرًا، هناك إمكانية أخرى للاسترخاء وهي المطالبة ${\textstyle I(R,A)\leq \epsilon }$ .

الانفصال

نقول المتغيرات العشوائية ${\textstyle (R,A,Y)}$ إرضاء الفصل إذا كانت الخصائص الحساسة ${\textstyle A}$ مستقلة إحصائيًا عن التنبؤ ${\textstyle R}$ بالنظر إلى القيمة المستهدفة ${\textstyle Y}$ ، ونحن نكتب $R\bot A\ |\ Y.$ ويمكننا أيضًا التعبير عن هذا المفهوم بالصيغة التالية: $P(R=r\ |\ Y=q,A=a)=P(R=r\ |\ Y=q,A=b)\quad \forall r\in R\quad q\in Y\quad \forall a,b\in A$ وهذا يعني أن كل اعتماد القرار $R$ حول السمة الحساسة $A$ يجب تبريره بالاعتماد الفعلي للمتغير المستهدف الحقيقي $Y$ .

هناك تعبير مكافئ آخر، في حالة معدل الهدف الثنائي، وهو أن معدل الإيجابية الحقيقية ومعدل الإيجابية الكاذبة متساويان (وبالتالي فإن معدل السلبية الكاذبة ومعدل السلبية الحقيقية متساويان) لكل قيمة من الخصائص الحساسة: $P(R=1\ |\ Y=1,A=a)=P(R=1\ |\ Y=1,A=b)\quad \forall a,b\in A$ $P(R=1\ |\ Y=0,A=a)=P(R=1\ |\ Y=0,A=b)\quad \forall a,b\in A$

من الممكن تخفيف التعريفات المقدمة من خلال السماح بقيمة الفرق بين المعدلات بأن تكون أقل من فترة تراخي معينة برقم موجب. ${\textstyle \epsilon >0}$ ، بدلاً من أن يساوي الصفر.

في بعض المجالات، يكون الفصل (معامل الفصل) في مصفوفة الارتباك مقياسًا للمسافة (عند مستوى معين من درجة الاحتمالية) بين النسبة المئوية التراكمية السلبية المتوقعة والنسبة المئوية التراكمية الإيجابية المتوقعة.

كلما كان معامل الفصل هذا أكبر عند قيمة درجة معينة، كلما كان النموذج أكثر فعالية في التمييز بين مجموعة الإيجابيات والسلبيات عند حد احتمال معين. وفقًا لمايز:^[33] "يُلاحظ غالبًا في قطاع الائتمان أن اختيار مقاييس التحقق يعتمد على نهج النمذجة. على سبيل المثال، إذا كان إجراء النمذجة معياريًا أو شبه معياري، فغالبًا ما يُستخدم اختبار كولموغوروف-سميرنوف لعينتين. إذا تم اشتقاق النموذج من خلال طرق البحث الاستدلالية أو التكرارية، فإن مقياس أداء النموذج عادةً ما يكون التباعد. الخيار الثالث هو معامل الفصل... ويبدو معامل الفصل، مقارنةً بالطريقتين الأخريين، الأكثر منطقية كمقياس لأداء النموذج لأنه يعكس نمط الفصل في النموذج."

الكفاية

نقول المتغيرات العشوائية ${\textstyle (R,A,Y)}$ تلبية الكفاية إذا كانت الخصائص الحساسة ${\textstyle A}$ مستقلة إحصائيًا عن القيمة المستهدفة ${\textstyle Y}$ بالنظر إلى التنبؤ ${\textstyle R}$ ، ونحن نكتب $Y\bot A\ |\ R.$ ويمكننا أيضًا التعبير عن هذا المفهوم بالصيغة التالية: $P(Y=q\ |\ R=r,A=a)=P(Y=q\ |\ R=r,A=b)\quad \forall q\in Y\quad r\in R\quad \forall a,b\in A$ وهذا يعني أن احتمال التواجد فعليًا في كل من المجموعات متساوٍ بالنسبة لشخصين يتمتعان بخصائص حساسة مختلفة نظرًا لأنه من المتوقع أن ينتميا إلى نفس المجموعة.

العلاقات بين التعريفات

وأخيرا، نلخص بعض النتائج الرئيسية التي تربط بين التعريفات الثلاثة المذكورة أعلاه:

على افتراض ${\textstyle Y}$ هو ثنائي، إذا ${\textstyle A}$ و ${\textstyle Y}$ ليست مستقلة إحصائيًا، و ${\textstyle R}$ و ${\textstyle Y}$ إذا لم تكن هذه العبارات مستقلة إحصائيًا أيضًا، فإن الاستقلال والانفصال لا يمكن أن يصمدا معًا إلا في الحالات البلاغية.
لو ${\textstyle (R,A,Y)}$ كتوزيع مشترك له احتمالية إيجابية لجميع قيمه الممكنة و ${\textstyle A}$ و ${\textstyle Y}$ إذا لم تكن العبارات والجمل مستقلة إحصائيًا، فلا يمكن للفصل والكفاية أن يصحا معًا إلا في الحالات البلاغية.

ويشار إلى ذلك بالعدالة الكاملة عندما يتم تلبية الاستقلال والانفصال والكفاية في وقت واحد.^[34] ومع ذلك، فإن العدالة الكاملة ليست ممكنة إلا في حالات بلاغية محددة.^[35]

صياغة رياضية لتعريفات العدالة الجماعية

التعاريف الأولية

تعتمد معظم المقاييس الإحصائية للعدالة على مقاييس مختلفة، لذا سنبدأ بتعريفها. عند استخدام مُصنِّف ثنائي، يمكن أن تأخذ كلٌّ من الفئتين المُتنبَّأة والفعلية قيمتين: موجبة وسالبة. لنبدأ الآن بشرح العلاقات المُحتملة بين النتيجة المُتنبَّأة والنتيجة الفعلية:^[36]

النتيجة الإيجابية الحقيقية (TP) : هي الحالة التي تكون فيها النتيجة المتوقعة والفعلية ضمن فئة إيجابية.
سلبي حقيقي (TN) : الحالة التي يتم فيها تعيين كل من النتيجة المتوقعة والنتيجة الفعلية إلى الفئة السلبية.
إيجابية كاذبة (FP) : هي الحالة التي من المتوقع أن تقع ضمن فئة إيجابية تم تعيينها في النتيجة الفعلية إلى الفئة السلبية.
سلبي كاذب (FN) : الحالة التي من المتوقع أن تكون في فئة السلبية مع نتيجة فعلية تكون في فئة الإيجابية.

يمكن تمثيل هذه العلاقات بسهولة باستخدام مصفوفة الارتباك، وهو جدول يصف دقة نموذج التصنيف. في هذه المصفوفة، تمثل الأعمدة والصفوف حالات من المتوقع حدوثها والحالات الفعلية على التوالي.

وباستخدام هذه العلاقات، يمكننا تحديد مقاييس متعددة يمكن استخدامها لاحقًا لقياس مدى عدالة الخوارزمية:

القيمة المتوقعة الإيجابية (PPV): نسبة الحالات الإيجابية التي تم التنبؤ بها بشكل صحيح من بين جميع التنبؤات الإيجابية. تُعرف عادةً بالدقة، وتمثل احتمالية صحة التنبؤ الإيجابي. تُعطى بالصيغة التالية: $PPV=P(actual=+\ |\ prediction=+)={\frac {TP}{TP+FP}}$
معدل الاكتشاف الخاطئ (FDR): نسبة التنبؤات الإيجابية التي كانت سلبية بالفعل من بين جميع التنبؤات الإيجابية. يمثل هذا المعدل احتمالية حدوث تنبؤ إيجابي خاطئ، ويُحسب بالصيغة التالية: $FDR=P(actual=-\ |\ prediction=+)={\frac {FP}{TP+FP}}$
القيمة المتوقعة السلبية (NPV): نسبة الحالات السلبية التي تم التنبؤ بها بشكل صحيح من بين جميع التنبؤات السلبية. وهي تمثل احتمالية صحة التنبؤ السلبي، وتُحسب بالصيغة التالية: $NPV=P(actual=-\ |\ prediction=-)={\frac {TN}{TN+FN}}$
معدل الإغفال الكاذب (FOR): نسبة التنبؤات السلبية الإيجابية من بين جميع التنبؤات السلبية. يمثل هذا المعدل احتمالية حدوث تنبؤ سلبي خاطئ، ويُحسب بالصيغة التالية: $FOR=P(actual=+\ |\ prediction=-)={\frac {FN}{TN+FN}}$
معدل الإيجابية الحقيقية (TPR): نسبة الحالات الإيجابية التي تم التنبؤ بها بشكل صحيح من بين جميع الحالات الإيجابية. يُشار إليه عادةً باسم الحساسية أو التذكر، ويمثل احتمال تصنيف الحالات الإيجابية بشكل صحيح على هذا النحو. ويُعطى بالصيغة التالية: $TPR=P(prediction=+\ |\ actual=+)={\frac {TP}{TP+FN}}$
معدل النتائج السلبية الكاذبة (FNR): نسبة الحالات الإيجابية التي تم التنبؤ بها بشكل خاطئ بأنها سلبية من بين جميع الحالات الإيجابية. يمثل هذا احتمال تصنيف الحالات الإيجابية بشكل خاطئ على أنها سلبية، ويُعطى بالصيغة التالية: $FNR=P(prediction=-\ |\ actual=+)={\frac {FN}{TP+FN}}$
معدل السلبية الحقيقي (TNR): نسبة الحالات السلبية التي تم التنبؤ بها بشكل صحيح من بين جميع الحالات السلبية. يمثل هذا احتمال تصنيف الحالات السلبية بشكل صحيح على هذا النحو، ويُعطى بالصيغة التالية: $TNR=P(prediction=-\ |\ actual=-)={\frac {TN}{TN+FP}}$
معدل النتائج الإيجابية الكاذبة (FPR): نسبة الحالات السلبية التي تم التنبؤ بها بشكل خاطئ بأنها إيجابية من بين جميع الحالات السلبية. يمثل هذا احتمال تصنيف الحالات السلبية بشكل خاطئ على أنها إيجابية، ويُعطى بالصيغة التالية: $FPR=P(prediction=+\ |\ actual=-)={\frac {FP}{TN+FP}}$

العلاقة بين معايير العدالة كما هو موضح في باروكاس وآخرون.^[32]

يمكن فهم المعايير التالية باعتبارها مقاييس للتعريفات العامة الثلاثة الواردة في بداية هذا القسم، وهي الاستقلال والانفصال والكفاية. وفي الجدول^[32] على اليمين، يمكننا رؤية العلاقات بينهما.

لتحديد هذه التدابير على وجه التحديد، سوف نقسمها إلى ثلاث مجموعات كبيرة كما فعلت في فيرما وآخرون:^[36] التعاريف القائمة على النتيجة المتوقعة، والنتائج المتوقعة والفعلية، والتعريفات القائمة على الاحتمالات المتوقعة والنتيجة الفعلية.

سنعمل مع مصنف ثنائي والترميز التالي: ${\textstyle S}$ يشير إلى الدرجة التي يمنحها المصنف، والتي تمثل احتمالية وجود موضوع معين في الفئة الإيجابية أو السلبية. ${\textstyle R}$ يمثل التصنيف النهائي الذي تنبأت به الخوارزمية، وعادةً ما يتم اشتقاق قيمته من ${\textstyle S}$ ، على سبيل المثال سيكون إيجابيا عندما ${\textstyle S}$ فوق حد معين. ${\textstyle Y}$ يمثل النتيجة الفعلية، أي التصنيف الحقيقي للفرد، وأخيرًا، ${\textstyle A}$ يشير إلى السمات الحساسة للموضوعات.

التعاريف بناءً على النتيجة المتوقعة

تركز التعريفات في هذا القسم على النتيجة المتوقعة ${\textstyle R}$ لتوزيعات مختلفة من المواضيع. إنها أبسط المفاهيم وأكثرها بديهية للعدالة.

التكافؤ الديموغرافي، ويشار إليه أيضًا بالتكافؤ الإحصائي، وتكافؤ معدل القبول، والمقارنة المعيارية. يفي المصنف بهذا التعريف إذا كان لدى الكائنات الموجودة في المجموعات المحمية وغير المحمية احتمال متساوٍ ليتم تعيينها في فئة التنبؤ الإيجابية. وهذا إذا تم استيفاء الصيغة التالية: $P(R=+\ |\ A=a)=P(R=+\ |\ A=b)\quad \forall a,b\in A$
التكافؤ الإحصائي الشرطي. يتكون أساسًا من التعريف أعلاه، ولكن يقتصر فقط على مجموعة فرعية من الحالات. في التدوين الرياضي سيكون هذا: $P(R=+\ |\ L=l,A=a)=P(R=+\ |\ L=l,A=b)\quad \forall a,b\in A\quad \forall l\in L$

التعاريف المبنية على النتائج المتوقعة والفعلية

لا تأخذ هذه التعريفات بعين الاعتبار النتيجة المتوقعة فحسب ${\textstyle R}$ ولكن قارنها أيضًا بالنتيجة الفعلية ${\textstyle Y}$ .

التكافؤ التنبؤي، ويشار إليه أيضًا باسم اختبار النتيجة. يفي المصنف بهذا التعريف إذا كان للموضوعات في المجموعات المحمية وغير المحمية قيمة PPV متساوية. وهذا إذا تم استيفاء الصيغة التالية: $P(Y=+\ |\ R=+,A=a)=P(Y=+\ |\ R=+,A=b)\quad \forall a,b\in A$

رياضيا، إذا كان المصنف له قيمة PPV متساوية لكلا المجموعتين، فسيكون له أيضًا قيمة FDR متساوية، مما يلبي الصيغة:

P(Y=-\ |\ R=+,A=a)=P(Y=-\ |\ R=+,A=b)\quad \forall a,b\in A

توازن معدل الخطأ الإيجابي الكاذب، ويشار إليه أيضًا بالمساواة التنبؤية. يفي المصنف بهذا التعريف إذا كان للموضوعات في المجموعات المحمية وغير المحمية معدل استجابة مرضية متساوٍ. وهذا إذا تم استيفاء الصيغة التالية: $P(R=+\ |\ Y=-,A=a)=P(R=+\ |\ Y=-,A=b)\quad \forall a,b\in A$

رياضيا، إذا كان المصنف له FPR متساوي لكلا المجموعتين، فسيكون له أيضًا TNR متساوي، مما يلبي الصيغة:

P(R=-\ |\ Y=-,A=a)=P(R=-\ |\ Y=-,A=b)\quad \forall a,b\in A

معدل خطأ سلبي كاذب، ويشار إليه أيضًا باسم تكافؤ الفرص. يفي المصنف بهذا التعريف إذا كان للموضوعات في المجموعات المحمية وغير المحمية معدل FNR متساوٍ. وهذا إذا تم استيفاء الصيغة التالية: $P(R=-\ |\ Y=+,A=a)=P(R=-\ |\ Y=+,A=b)\quad \forall a,b\in A$

رياضيا، إذا كان المصنف لديه FNR متساوي لكلا المجموعتين، فسيكون لديه أيضًا TPR متساوي، مما يلبي الصيغة:

P(R=+\ |\ Y=+,A=a)=P(R=+\ |\ Y=+,A=b)\quad \forall a,b\in A

الاحتمالات المتساوية ‏، والتي يشار إليها أيضًا باسم مساواة دقة الإجراء الشرطي والمعاملة غير المتجانسة. يفي المصنف بهذا التعريف إذا كان لدى الكائنات في المجموعات المحمية وغير المحمية TPR متساوٍ وFPR متساوٍ، مما يلبي الصيغة: $P(R=+\ |\ Y=y,A=a)=P(R=+\ |\ Y=y,A=b)\quad y\in \{+,-\}\quad \forall a,b\in A$
مساواة دقة الاستخدام الشرطي. يفي المصنف بهذا التعريف إذا كان لدى الكائنات في المجموعات المحمية وغير المحمية نفس القيمة التنبؤية والقيمة الحالية الصافية، مما يلبي الصيغة: $P(Y=y\ |\ R=y,A=a)=P(Y=y\ |\ R=y,A=b)\quad y\in \{+,-\}\quad \forall a,b\in A$
المساواة في الدقة الشاملة. يلبي المصنف هذا التعريف إذا كان للموضوع في المجموعتين المحمية وغير المحمية دقة تنبؤ متساوية، أي احتمال تعيين موضوع من فئة واحدة له. وهذا إذا كان يلبي الصيغة التالية: $P(R=Y\ |\ A=a)=P(R=Y\ |\ A=b)\quad \forall a,b\in A$
المساواة في المعاملة. يفي المصنف بهذا التعريف إذا كان لدى الكائنات في المجموعات المحمية وغير المحمية نسبة متساوية من FN وFP، مما يلبي الصيغة: ${\frac {FN_{A=a}}{FP_{A=a}}}={\frac {FN_{A=b}}{FP_{A=b}}}$

التعاريف المبنية على الاحتمالات المتوقعة والنتيجة الفعلية

هذه التعريفات مبنية على النتيجة الفعلية ${\textstyle Y}$ والنتيجة الاحتمالية المتوقعة ${\textstyle S}$ .

عدالة الاختبار، والمعروفة أيضًا باسم المعايرة أو مطابقة الترددات الشرطية. يفي المصنف بهذا التعريف إذا كان لدى الأفراد نفس درجة الاحتمالية المتوقعة ${\textstyle S}$ لديهم نفس احتمالية التصنيف في الفئة الإيجابية عندما ينتمون إلى المجموعة المحمية أو غير المحمية: $P(Y=+\ |\ S=s,A=a)=P(Y=+\ |\ S=s,A=b)\quad \forall s\in S\quad \forall a,b\in A$
معايرة البئر هي امتداد للتعريف السابق. تنص على أنه عندما يكون لدى الأفراد داخل المجموعة المحمية أو خارجها نفس درجة الاحتمالية المتوقعة ${\textstyle S}$ يجب أن يكون لديهم نفس احتمالية تصنيفهم في الفئة الإيجابية، ويجب أن يكون هذا الاحتمال مساويًا لـ ${\textstyle S}$ : $P(Y=+\ |\ S=s,A=a)=P(Y=+\ |\ S=s,A=b)=s\quad \forall s\in S\quad \forall a,b\in A$
التوازن للفئة الإيجابية. يفي المصنف بهذا التعريف إذا كان لدى الأشخاص الذين يشكلون الفئة الإيجابية من كل من المجموعتين المحمية وغير المحمية متوسط درجات احتمالية متوقعة متساوية ${\textstyle S}$ . وهذا يعني أن القيمة المتوقعة لدرجة الاحتمالية للمجموعات المحمية وغير المحمية ذات النتيجة الفعلية الإيجابية ${\textstyle Y}$ هو نفسه، ويلبي الصيغة: $E(S\ |\ Y=+,A=a)=E(S\ |\ Y=+,A=b)\quad \forall a,b\in A$
التوازن للفئة السلبية. يفي المصنف بهذا التعريف إذا كان للموضوعات التي تشكل الفئة السلبية من كل من المجموعتين المحمية وغير المحمية متوسط درجات احتمالية متوقعة متساوية ${\textstyle S}$ . وهذا يعني أن القيمة المتوقعة لدرجة الاحتمالية للمجموعات المحمية وغير المحمية ذات النتيجة الفعلية السلبية ${\textstyle Y}$ هو نفسه، ويلبي الصيغة: $E(S\ |\ Y=-,A=a)=E(S\ |\ Y=-,A=b)\quad \forall a,b\in A$

الارتباك المتساوي والعدالة

فيما يتعلق بمصفوفات الارتباك، فإن الاستقلال والفصل والكفاية تتطلب أن لا يكون للكميات المذكورة أدناه اختلافات ذات دلالة إحصائية عبر الخصائص الحساسة.^[35]

الاستقلال: (TP + FP) / (TP + FP + FN + TN) (أي، $P({\hat {Y}}=1)$ ).
الفصل: TN / (TN + FP) و TP / (TP + FN) (أي الخصوصية $P({\hat {Y}}=0\mid Y=0)$ وتذكر $P({\hat {Y}}=1\mid Y=1)$ ).
الكفاية: TP / (TP + FP) و TN / (TN + FN) (أي الدقة $P(Y=1\mid {\hat {Y}}=1)$ والقيمة التنبؤية السلبية $P(Y=0\mid {\hat {Y}}=0)$ ).

مفهوم الارتباك المتساوي والعدالة^[37] يتطلب الأمر أن يكون لمصفوفة الارتباك لنظام قرار معين نفس التوزيع عند حسابها طبقيًا على جميع الخصائص الحساسة.

وظيفة الرعاية الاجتماعية

وقد اقترح بعض العلماء تعريف العدالة الخوارزمية من حيث دالة الرعاية الاجتماعية. يزعمون أن استخدام دالة الرعاية الاجتماعية يمكّن مصمم الخوارزمية من مراعاة العدالة والدقة التنبؤية من حيث فوائدها للأشخاص المتأثرين بالخوارزمية. كما يسمح للمصمم بالموازنة بين الكفاءة والإنصاف بطريقة مبدئية.^[38] صرح سيندهيل موليناثان ‏ أن مصممي الخوارزميات يجب أن يستخدموا وظائف الرعاية الاجتماعية للتعرف على المكاسب المطلقة للمجموعات المحرومة. على سبيل المثال، وجدت إحدى الدراسات أن استخدام خوارزمية صنع القرار في الاحتجاز قبل المحاكمة بدلاً من الحكم البشري المحض أدى إلى تقليل معدلات الاحتجاز للسود والأسبان والأقليات العرقية بشكل عام، حتى مع الحفاظ على معدل الجريمة ثابتًا.^[39]

معايير العدالة الفردية

إن التمييز المهم بين تعريفات العدالة هو التمييز بين المفاهيم الجماعية والفردية.^[40]^[41]^[36]^[42] بشكل عام، بينما تُقارن معايير الإنصاف الجماعي الكميات على مستوى المجموعة، والتي تُحدد عادةً بخصائص حساسة (مثل الجنس، والعرق، والعمر، إلخ)، تُقارن المعايير الفردية الأفراد. باختصار، تتبع معايير الإنصاف الفردي مبدأ "أن يُعامل الأفراد المتشابهون معاملةً مماثلة".

هناك نهج بديهي للغاية للعدالة، والذي يُطلق عليه عادةً اسم العدالة من خلال عدم الوعي (FTU)، أو العمى، والذي ينص على عدم استخدام الميزات الحساسة بشكل صريح عند اتخاذ القرارات (الآلية). وهذا في الواقع مفهوم للعدالة الفردية، حيث أن فردين يختلفان فقط في قيمة سماتهما الحساسة سوف يحصلان على نفس النتيجة.

ومع ذلك، بشكل عام، تواجه وحدة التقييم الذاتي (FTU) العديد من العيوب، أهمها أنها لا تأخذ في الاعتبار الارتباطات المحتملة بين السمات الحساسة والسمات غير الحساسة المستخدمة في عملية صنع القرار. على سبيل المثال، يمكن لوكيل ذي نية (خبيثة) للتمييز على أساس الجنس أن يُدخل في النموذج متغيرًا بديلًا للجنس (أي متغير مرتبط ارتباطًا وثيقًا بالجنس) ويستخدم معلومات الجنس بفعالية مع الالتزام بمعايير وحدة التقييم الذاتي (FTU).

إن مشكلة تحديد المتغيرات المرتبطة بالمتغيرات الحساسة والتي يمكن استخدامها بشكل عادل من قبل النموذج في عملية صنع القرار هي مشكلة حاسمة، وهي ذات صلة بمفاهيم المجموعة أيضًا: تتطلب مقاييس الاستقلال الإزالة الكاملة للمعلومات الحساسة، في حين تسمح المقاييس القائمة على الفصل بالارتباط، ولكن فقط بقدر ما يبررها المتغير المستهدف المسمى.

تم تقديم المفهوم الأكثر عمومية للعدالة الفردية في العمل الرائد الذي قامت به سينثيا دورك وزملاؤها في عام 2012^[43] ويمكن اعتباره ترجمة رياضية لمبدأ أن خريطة القرار التي تأخذ الميزات كمدخلات يجب بناؤها بحيث تكون قادرة على "رسم خريطة للأفراد المتشابهين على نحو مماثل"، وهذا يتم التعبير عنه كشرط ليبشيتز ‏ على خريطة النموذج. ويطلقون على هذا النهج اسم العدالة من خلال الوعي (FTA)، على وجه التحديد كنقطة مقابلة لاسم العدالة من خلال الوعي، حيث يؤكدون على أهمية اختيار مقياس المسافة المناسب المرتبط بالهدف لتقييم الأفراد المتشابهين في مواقف محددة. مرة أخرى، ترتبط هذه المشكلة ارتباطًا وثيقًا بالنقطة التي أثيرت أعلاه حول المتغيرات التي يمكن اعتبارها "مشروعة" في سياقات معينة.

المقاييس القائمة على السببية

يقيس الإنصاف السببي التردد الذي يتلقى به مستخدمان أو تطبيقان متطابقان تقريبًا يختلفان فقط في مجموعة من الخصائص التي يجب أن يكون تخصيص الموارد من خلالها عادلاً، نفس المعاملة.^[44] ^{[محل شك]}

يُخصص فرع كامل من البحث الأكاديمي حول مقاييس العدالة للاستفادة من النماذج السببية لتقييم التحيز في نماذج التعلم الآلي. عادة ما يتم تبرير هذا النهج بحقيقة مفادها أن نفس التوزيع الرصدي للبيانات قد يخفي علاقات سببية مختلفة بين المتغيرات المؤثرة، وربما مع تفسيرات مختلفة لما إذا كانت النتيجة تتأثر ببعض أشكال التحيز أم لا.^[32]

يقترح كوسنر وآخرون^[45] استخدام الوقائع المضادة ‏، وتحديد عملية صنع القرار على أنها عادلة من الناحية المضادة للواقع إذا لم تتغير النتيجة بالنسبة لأي فرد في السيناريو المضاد للواقع حيث تتغير السمات الحساسة. الصيغة الرياضية تنص على:

$P(R_{A\leftarrow a}=1\mid A=a,X=x)=P(R_{A\leftarrow b}=1\mid A=a,X=x),\quad \forall a,b;$

وهذا يعني: أخذ فرد عشوائي ذو سمة حساسة $A=a$ وميزات أخرى $X=x$ ونفس الفرد إذا كان لديها $A=b$ ، ينبغي أن يكون لديهم نفس فرص القبول. الرمز ${\hat {R}}_{A\leftarrow a}$ يمثل المتغير العشوائي المضاد للواقع $R$ في السيناريو حيث السمة الحساسة $A$ تم إصلاحه إلى $A=a$ . التكييف على $A=a,X=x$ وهذا يعني أن هذا المطلب هو على المستوى الفردي، حيث أننا نشترط جميع المتغيرات التي تحدد ملاحظة واحدة.

غالبًا ما يتم تدريب نماذج التعلم الآلي على البيانات حيث تعتمد النتيجة على القرار المتخذ في ذلك الوقت.^[46] على سبيل المثال، إذا كان على نموذج التعلم الآلي تحديد ما إذا كان السجين سيعود إلى الإجرام، وتحديد ما إذا كان ينبغي إطلاق سراحه مبكرًا، فقد تعتمد النتيجة على ما إذا كان قد أُطلق سراحه مبكرًا أم لا. ميشلر وآخرون.^[47] اقترح صيغة لمعادلة الاحتمالات الافتراضية:

$P(R=1\mid Y^{0}=0,A=a)=P(R=1\mid Y^{0}=0,A=b)\wedge P(R=0\mid Y^{1}=1,A=a)=P(R=0\mid Y^{1}=1,A=b),\quad \forall a,b;$

أين $R$ هو متغير عشوائي $Y^{x}$ يدل على النتيجة نظرا لأن القرار $x$ تم التقاطها، و $A$ هي ميزة حساسة.

يقترح بليكو وبارينبويم^[48] إطارًا موحدًا للتعامل مع التحليل السببي للعدالة. يقترحون استخدام نموذج العدالة القياسي، الذي يتكون من رسم بياني سببي مع 4 أنواع من المتغيرات:

السمات الحساسة ( $A$ )،
المتغير المستهدف ( $Y$ )،
الوسطاء ( $W$ ) بين $A$ و $Y$ ، تمثل التأثيرات غير المباشرة المحتملة للسمات الحساسة على النتيجة،
المتغيرات التي قد تشترك في سبب مشترك مع $A$ ( $Z$ )، والتي تمثل التأثيرات الزائفة المحتملة (أي غير السببية) للسمات الحساسة على النتيجة.

في هذا الإطار، تمكن بليكو وبارينبويم^[48] من تصنيف التأثيرات المحتملة التي قد تخلفها السمات الحساسة على النتيجة. وعلاوة على ذلك، فإن التفصيل الذي يتم به قياس هذه التأثيرات ــ أي متغيرات التكييف المستخدمة لمتوسط التأثير—يرتبط ارتباطاً مباشراً بجانب "الفرد مقابل المجموعة" في تقييم العدالة.

استراتيجيات التخفيف من التحيز

يمكن تطبيق العدالة على خوارزميات التعلم الآلي بثلاث طرق مختلفة: معالجة البيانات مسبقًا، أو التحسين أثناء تدريب البرنامج، أو معالجة نتائج الخوارزمية بعد ذلك.

المعالجة المسبقة

عادةً، لا يكون المصنف هو المشكلة الوحيدة؛ بل إن مجموعة البيانات متحيزة أيضًا. التمييز في مجموعة البيانات ${\textstyle D}$ فيما يتعلق بالمجموعة ${\textstyle A=a}$ يمكن تعريفها على النحو التالي: $disc_{A=a}(D)={\frac {|\{X\in D|X(A)\neq a,X(Y)=+\}|}{|\{X\in D|X(A)\neq a\}|}}-{\frac {|\{X\in D|X(A)=a,X(Y)=+\}|}{|\{X\in D|X(A)=a\}|}}$

وهذا يعني تقريبًا الفرق بين احتمالات الانتماء إلى الفئة الإيجابية نظرًا لأن الموضوع يتمتع بسمة محمية مختلفة عن ${\textstyle a}$ ويساوي ${\textstyle a}$ .

تزيل خوارزميات تصحيح التحيز في المعالجة المسبقة المعلومات المتعلقة بمتغيرات مجموعة البيانات، مما قد يؤدي إلى قرارات غير عادلة، مع محاولة تقليل التغييرات قدر الإمكان. ليس الأمر ببساطة إزالة المتغير الحساس فحسب، إذ يمكن ربط سمات أخرى بالمتغير المحمي.

إحدى طرق القيام بذلك هي ربط كل فرد في مجموعة البيانات الأولية بتمثيل وسيط، حيث يستحيل تحديد ما إذا كان ينتمي إلى مجموعة محمية معينة مع الحفاظ على أكبر قدر ممكن من المعلومات. بعد ذلك، يُعدّل التمثيل الجديد للبيانات للحصول على أقصى دقة في الخوارزمية.

بهذه الطريقة، تُربط الأفراد بتمثيل جديد متعدد المتغيرات، حيث يكون احتمال ربط أي فرد في مجموعة محمية بقيمة معينة في التمثيل الجديد مساويًا لاحتمالية عدم انتمائه إلى المجموعة المحمية. بعد ذلك، يُستخدم هذا التمثيل للحصول على التنبؤ الخاص بالفرد، بدلاً من البيانات الأولية. وبما أن التمثيل الوسيط مُصمم بحيث يُعطي نفس الاحتمال للأفراد داخل المجموعة المحمية أو خارجها، فإن هذه السمة تكون مخفية عن المصنف.

تم شرح مثال في زيميل وآخرون.^[49] حيث تم استخدام متغير عشوائي متعدد الحدود ‏ كتمثيل وسيط. وفي هذه العملية، يتم تشجيع النظام على الحفاظ على جميع المعلومات باستثناء تلك التي يمكن أن تؤدي إلى قرارات متحيزة، والحصول على تنبؤ دقيق قدر الإمكان.

من ناحية أخرى، تتمتع هذه العملية بميزة إمكانية استخدام البيانات المعالجة مسبقًا لأي مهمة تعلُّم آلي. علاوة على ذلك، لا يلزم تعديل المصنف، حيث يتم تطبيق التصحيح على مجموعة البيانات قبل المعالجة. ومن ناحية أخرى، فإن الطرق الأخرى تحقق نتائج أفضل من حيث الدقة والإنصاف.^{[بحاجة لمصدر]}

إعادة الوزن

إعادة الوزن مثال على خوارزمية المعالجة المسبقة. الفكرة هي تحديد وزن لكل نقطة في مجموعة البيانات بحيث يكون التمييز المرجح صفرًا بالنسبة للمجموعة المحددة.^[50]

إذا كانت مجموعة البيانات ${\textstyle D}$ كان المتغير الحساس غير متحيز ${\textstyle A}$ والمتغير المستهدف ${\textstyle Y}$ سيكون مستقلاً إحصائيًا واحتمال التوزيع المشترك ‏ سيكون حاصل ضرب الاحتمالات على النحو التالي: $P_{exp}(A=a\wedge Y=+)=P(A=a)\times P(Y=+)={\frac {|\{X\in D|X(A)=a\}|}{|D|}}\times {\frac {|\{X\in D|X(Y)=+\}|}{|D|}}$

لكن في الواقع، مجموعة البيانات ليست غير متحيزة والمتغيرات ليست مستقلة إحصائيًا، لذا فإن الاحتمالية الملحوظة هي: $P_{obs}(A=a\wedge Y=+)={\frac {|\{X\in D|X(A)=a\wedge X(Y)=+\}|}{|D|}}$

لتعويض التحيز، يضيف البرنامج وزنًا أقل للأشياء المفضلة ووزنًا أعلى للأشياء غير المفضلة. لكل ${\textstyle X\in D}$ نحن نحصل على: $W(X)={\frac {P_{exp}(A=X(A)\wedge Y=X(Y))}{P_{obs}(A=X(A)\wedge Y=X(Y))}}$

عندما يكون لدينا لكل ${\textstyle X}$ الوزن المرتبط ${\textstyle W(X)}$ نحن نحسب التمييز المرجح فيما يتعلق بالمجموعة ${\textstyle A=a}$ على النحو التالي: $disc_{A=a}(D)={\frac {\sum W(X)X\in \{X\in D|X(A)\neq a,X(Y)=+\}}{\sum W(X)X\in \{X\in D|X(A)\neq a\}}}-{\frac {\sum W(X)X\in \{X\in D|X(A)=a,X(Y)=+\}}{\sum W(X)X\in \{X\in D|X(A)=a\}}}$

ويمكن إظهار أنه بعد إعادة الترجيح فإن هذا التمييز المرجح يساوي 0.

جاري المعالجة

هناك نهج آخر يتمثل في تصحيح التحيز أثناء وقت التدريب. يمكن القيام بذلك عن طريق إضافة قيود إلى هدف تحسين الخوارزمية.^[51] وتجبر هذه القيود الخوارزمية على تحسين العدالة، من خلال الحفاظ على نفس معدلات بعض التدابير للمجموعة المحمية وبقية الأفراد. على سبيل المثال، يمكننا أن نضيف إلى هدف الخوارزمية الشرط الذي ينص على أن معدل الإيجابيات الكاذبة هو نفسه بالنسبة للأفراد في المجموعة المحمية والأفراد خارج المجموعة المحمية.

المقاييس الرئيسية المستخدمة في هذا النهج هي معدل الإيجابيات الكاذبة، ومعدل السلبيات الكاذبة، ومعدل التصنيف الخاطئ الإجمالي. من الممكن إضافة قيد واحد أو أكثر من هذه القيود إلى هدف الخوارزمية. تجدر الإشارة إلى أن تساوي معدلات السلبيات الكاذبة يعني تساوي معدلات الإيجابيات الحقيقية، مما يعني تكافؤ الفرص. بعد إضافة هذه القيود إلى المشكلة، قد تصبح صعبة الحل، لذا قد يلزم تخفيفها.

إزالة التحيز العدائي

نقوم بتدريب مصنفين في نفس الوقت من خلال بعض الطرق المعتمدة على التدرج (fe: الانحدار التدرجي). الأول، يحاول المتنبئ إنجاز مهمة التنبؤ ${\textstyle Y}$ ، المتغير المستهدف، معطى ${\textstyle X}$ ، المدخلات، عن طريق تعديل أوزانها ${\textstyle W}$ لتقليل بعض فقدان الوظيفة ${\textstyle L_{P}({\hat {y}},y)}$ . الثاني، أن يحاول الخصم إنجاز مهمة التنبؤ ${\textstyle A}$ ، المتغير الحساس، معطى ${\textstyle {\hat {Y}}}$ عن طريق تعديل أوزانها ${\textstyle U}$ لتقليل بعض فقدان الوظيفة ${\textstyle L_{A}({\hat {a}},a)}$ .^[52] النقطة المهمة هنا هي أنه لنشر المعلومات بشكل صحيح، ${\textstyle {\hat {Y}}}$ يجب أن يشير ما سبق إلى الناتج الخام للمصنف، وليس التنبؤ المنفصل؛ على سبيل المثال، مع الشبكة العصبية الاصطناعية ومشكلة التصنيف، ${\textstyle {\hat {Y}}}$ قد يشير إلى إخراج طبقة سوفت ماكس.

ثم نقوم بالتحديث ${\textstyle U}$ للتقليل ${\textstyle L_{A}}$ في كل خطوة تدريبية وفقًا للتدرج ${\textstyle \nabla _{U}L_{A}}$ ونحن نعدل ${\textstyle W}$ وفقا للتعبير: $\nabla _{W}L_{P}-proj_{\nabla _{W}L_{A}}\nabla _{W}L_{P}-\alpha \nabla _{W}L_{A}$ أين $\alpha$ هي معلمة فرعية ‏ قابلة للضبط ويمكن أن تتغير في كل خطوة زمنية.

التمثيل البياني للمتجهات المستخدمة في إزالة التحيز المعادي كما هو موضح في Zhang et al.^[52]

الفكرة البديهية هي أننا نريد من المتنبئ أن يحاول التقليل ${\textstyle L_{P}}$ (لذلك فإن المصطلح ${\textstyle \nabla _{W}L_{P}}$ ) وفي الوقت نفسه، قم بتعظيم ${\textstyle L_{A}}$ (لذلك فإن المصطلح ${\textstyle -\alpha \nabla _{W}L_{A}}$ )، بحيث يفشل الخصم في التنبؤ بالمتغير الحساس من ${\textstyle {\hat {Y}}}$ .

على المدى ${\textstyle -proj_{\nabla _{W}L_{A}}\nabla _{W}L_{P}}$ يمنع المتنبئ من التحرك في اتجاه يساعد الخصم على تقليل دالة الخسارة الخاصة به.

يمكن إثبات أن تدريب نموذج تصنيف التنبؤ باستخدام هذه الخوارزمية يحسن التكافؤ الديموغرافي فيما يتعلق بتدريبه بدون الخصم.

مرحلة ما بعد المعالجة

الطريقة الأخيرة تحاول تصحيح نتائج المُصنِّف لتحقيق العدالة. في هذه الطريقة، لدينا مُصنِّف يُرجع درجة لكل فرد، ونحتاج إلى إجراء تنبؤ ثنائي له. من المُرجَّح أن تُعطي الدرجات العالية نتيجة إيجابية، بينما من المُرجَّح أن تُعطي الدرجات المنخفضة نتيجة سلبية، ولكن يُمكننا تعديل قيمة الحد لتحديد متى نُجيب بنعم كما هو مُراد. يُرجى مُلاحظة أن التباينات في قيمة الحد تُؤثِّر على المُفاضلة بين مُعدلات النتائج الإيجابية الحقيقية والسلبية الحقيقية.

إذا كانت دالة النتيجة عادلة بمعنى أنها مستقلة عن السمة المحمية، فإن أي اختيار للحد الأدنى سيكون عادلاً أيضًا، ولكن المصنفات من هذا النوع تميل إلى التحيز، لذلك قد تكون هناك حاجة إلى حد أدنى مختلف لكل مجموعة محمية لتحقيق العدالة.^[53] إحدى الطرق للقيام بذلك هي رسم معدل الإيجابية الحقيقية مقابل معدل السلبية الكاذبة في إعدادات عتبة مختلفة (يُطلق على هذا منحنى الخصائص التشغيلية للمستقبل) والعثور على عتبة حيث تكون المعدلات للمجموعة المحمية والأفراد الآخرين متساوية.^[53]

رفض التصنيف القائم على الخيار

معطى المصنف دعونا ${\textstyle P(+|X)}$ يكون الاحتمال الذي تم حسابه بواسطة المصنفات هو احتمال أن تكون المثيل ${\textstyle X}$ ينتمي إلى الفئة الإيجابية +. متى ${\textstyle P(+|X)}$ قريبة من 1 أو 0، المثيل ${\textstyle X}$ تم تحديده بدرجة عالية من اليقين بأنه ينتمي إلى الفئة + أو - على التوالي. ومع ذلك، عندما ${\textstyle P(+|X)}$ أقرب إلى 0.5، التصنيف غير واضح.^[54]

نحن نقول ${\textstyle X}$ "هي "حالة مرفوضة" إذا ${\textstyle max(P(+|X),1-P(+|X))\leq \theta }$ مع بعض ${\textstyle \theta }$ مثل ذلك ${\textstyle 0.5<\theta <1}$ .

تتكون خوارزمية "منحنى الخصائص التشغيلية للمستقبل" من تصنيف الحالات غير المرفوضة وفقًا للقاعدة أعلاه والحالات المرفوضة على النحو التالي: إذا كانت الحالة عبارة عن مثال لمجموعة محرومة ( $X(A)=a$ ) ثم قم بتسميتها بأنها إيجابية، وإلا، قم بتسميتها بأنها سلبية.

يمكننا تحسين مقاييس مختلفة للتمييز (رابط) كوظائف ${\textstyle \theta }$ للعثور على الحل الأمثل ${\textstyle \theta }$ لكل مشكلة وتجنب التمييز ضد المجموعة المتميزة.^[54]

انظر أيضًا

المراجع

↑ A bot will complete this citation soon. Click here to jump the queue أرخايف:2010.04053.
1 2 Mattu, Julia Angwin, Jeff Larson, Lauren Kirchner, Surya. "Machine Bias". ProPublica (بالإنجليزية). Archived from the original on 2025-05-27. Retrieved 2022-04-16.{{استشهاد ويب}}: صيانة الاستشهاد: أسماء متعددة: قائمة المؤلفين (link)
↑ Friedler, Sorelle A.; Scheidegger, Carlos; Venkatasubramanian, Suresh (Apr 2021). "The (Im)possibility of fairness: different value systems require different mechanisms for fair decision making". Communications of the ACM (بالإنجليزية). 64 (4): 136–143. DOI:10.1145/3433949. ISSN:0001-0782. S2CID:1769114. Archived from the original on 2025-02-18.
↑ Mehrabi، Ninareh؛ Morstatter، Fred؛ Saxena، Nripsuta؛ Lerman، Kristina؛ Galstyan، Aram (13 يوليو 2021). "A Survey on Bias and Fairness in Machine Learning". ACM Computing Surveys. ج. 54 ع. 6: 115:1–115:35. arXiv:1908.09635. DOI:10.1145/3457607. ISSN:0360-0300. S2CID:201666566.
↑ "Responsible AI practices". Google AI (بالإنجليزية). Archived from the original on 2023-05-07. Retrieved 2022-11-18.
↑ Fairness Indicators، tensorflow، 10 نوفمبر 2022، مؤرشف من الأصل في 2025-05-12، اطلع عليه بتاريخ 2022-11-18
↑ "AI Fairness 360". aif360.mybluemix.net. مؤرشف من الأصل في 2022-06-29. اطلع عليه بتاريخ 2022-11-18.
↑ "IBM AI Fairness 360 open source toolkit adds new functionalities". Tech Republic. 4 يونيو 2020.
↑ "How we're using Fairness Flow to help build AI that works better for everyone". ai.facebook.com (بالإنجليزية). Archived from the original on 2023-06-10. Retrieved 2022-11-18.
↑ "AI experts warn Facebook's anti-bias tool is 'completely insufficient'". VentureBeat (بالإنجليزية الأمريكية). 31 Mar 2021. Archived from the original on 2024-10-07. Retrieved 2022-11-18.
↑ Hutchinson، Ben؛ Mitchell، Margaret (29 يناير 2019). "50 Years of Test (Un)fairness". Proceedings of the Conference on Fairness, Accountability, and Transparency. New York, NY, USA: ACM FAT*'19. ص. 49–58. arXiv:1811.10104. DOI:10.1145/3287560.3287600. ISBN:9781450361255.
1 2 3 Luo، Queenie؛ Puett، Michael J.؛ Smith، Michael D. (23 مايو 2023)، A Perspectival Mirror of the Elephant: Investigating Language Bias on Google, ChatGPT, Wikipedia, and YouTube، arXiv:2303.16281
↑ Kotek، Hadas؛ Dockum، Rikker؛ Sun، David (5 نوفمبر 2023). "Gender bias and stereotypes in Large Language Models". Proceedings of the ACM Collective Intelligence Conference. CI '23. New York, NY, USA: Association for Computing Machinery. ص. 12–24. DOI:10.1145/3582269.3615599. ISBN:979-8-4007-0113-9.
↑ Zhou، Karen؛ Tan، Chenhao (ديسمبر 2023). Bouamor، Houda؛ Pino، Juan؛ Bali، Kalika (المحررون). "Entity-Based Evaluation of Political Bias in Automatic Summarization". Findings of the Association for Computational Linguistics: EMNLP 2023. Singapore: Association for Computational Linguistics: 10374–10386. arXiv:2305.02321. DOI:10.18653/v1/2023.findings-emnlp.696. مؤرشف من الأصل في 2025-03-08.
↑ "Attorney General Eric Holder Speaks at the National Association of Criminal Defense Lawyers 57th Annual Meeting and 13th State Criminal Justice Network Conference". www.justice.gov (بالإنجليزية). 1 Aug 2014. Archived from the original on 2025-02-04. Retrieved 2022-04-16.
↑ Dieterich، William؛ Mendoza، Christina؛ Brennan، Tim (2016). "COMPAS Risk Scales: Demonstrating Accuracy Equity and Predictive Parity" (PDF). Northpointe Inc. مؤرشف من الأصل (PDF) في 2023-03-07.
↑ Angwin, Jeff Larson, Julia (29 Jul 2016). "Technical Response to Northpointe". ProPublica (بالإنجليزية). Archived from the original on 2025-04-07. Retrieved 2022-11-18.{{استشهاد ويب}}: صيانة الاستشهاد: أسماء متعددة: قائمة المؤلفين (link)
↑ Rose, Adam (22 Jan 2010). "Are face-detection cameras racist?". Time (بالإنجليزية الأمريكية). ISSN:0040-781X. Archived from the original on 2024-06-02. Retrieved 2022-11-18.
↑ "Google says sorry for racist auto-tag in photo app". The Guardian (بالإنجليزية). 1 Jul 2015. Retrieved 2022-04-16.
↑ "A beauty contest was judged by AI and the robots didn't like dark skin". The Guardian (بالإنجليزية). 8 Sep 2016. Retrieved 2022-04-16.
1 2 Buolamwini، Joy؛ Gebru، Timnit (فبراير 2018). "Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification" (PDF). Conference on Fairness, Accountability and Transparency. New York, NY, USA. ص. 77–91. مؤرشف من الأصل (PDF) في 2025-05-29.
↑ "Student proves Twitter algorithm 'bias' toward lighter, slimmer, younger faces". The Guardian (بالإنجليزية). 10 Aug 2021. Retrieved 2022-11-18.
↑ openai/dalle-2-preview، OpenAI، 17 نوفمبر 2022، مؤرشف من الأصل في 2024-11-25، اطلع عليه بتاريخ 2022-11-18
↑ "No quick fix: How OpenAI's DALL·E 2 illustrated the challenges of bias in AI". NBC News (بالإنجليزية). 27 Jul 2022. Archived from the original on 2025-05-07. Retrieved 2024-07-23.
↑ "Amazon scraps secret AI recruiting tool that showed bias against women". Reuters (بالإنجليزية). 10 Oct 2018. Archived from the original on 2025-02-28. Retrieved 2022-11-18.
↑ "Apple Card algorithm sparks gender bias allegations against Goldman Sachs". Washington Post (بالإنجليزية الأمريكية). ISSN:0190-8286. Archived from the original on 2025-02-06. Retrieved 2022-11-18.
↑ Martinez, Emmanuel; Kirchner, Lauren (25 Aug 2021). "The Secret Bias Hidden in Mortgage-Approval Algorithms – The Markup". themarkup.org (بالإنجليزية). Archived from the original on 2025-05-16. Retrieved 2022-11-18.
↑ Ruggieri، Salvatore؛ Alvarez، Jose M.؛ Pugnana، Andrea؛ State، Laura؛ Turini، Franco (26 يونيو 2023). "Can We Trust Fair-AI?". Proceedings of the AAAI Conference on Artificial Intelligence. Association for the Advancement of Artificial Intelligence (AAAI). ج. 37 ع. 13: 15421–15430. DOI:10.1609/aaai.v37i13.26798. hdl:11384/136444. ISSN:2374-3468. S2CID:259678387.
↑ Buyl، Maarten؛ De Bie، Tijl (2022). "Inherent Limitations of AI Fairness". Communications of the ACM. ج. 67 ع. 2: 48–55. arXiv:2212.06495. DOI:10.1145/3624700. hdl:1854/LU-01GMNH04RGNVWJ730BJJXGCY99.
↑ A bot will complete this citation soon. Click here to jump the queue أرخايف:2311.12435.
↑ Gaudeul، Alexia؛ Arrigoni، Ottla؛ Charisi، Vicky؛ Escobar-Planas، Marina؛ Hupont، Isabelle (2024)، "Understanding the Impact of Human Oversight on Discriminatory Outcomes in AI-Supported Decision-Making"، ECAI 2024، Frontiers in Artificial Intelligence and Applications، IOS Press، ص. 1067–1074، DOI:10.3233/faia240598، ISBN:978-1-64368-548-9، مؤرشف من الأصل في 2025-04-29، اطلع عليه بتاريخ 2025-01-24
1 2 3 4 Solon Barocas; Moritz Hardt; Arvind Narayanan, Fairness and Machine Learning. Retrieved 15 December 2019. نسخة محفوظة 2025-05-21 على موقع واي باك مشين.
↑ Mayes, Elizabeth (2001). Handbook of Credit Scoring (بالإنجليزية). NY, NY, USA: Glenlake Publishing. pp. 282. ISBN:0-8144-0619-X.
↑ Berk, Richard; Heidari, Hoda; Jabbari, Shahin; Kearns, Michael; Roth, Aaron (Feb 2021). "Fairness in Criminal Justice Risk Assessments: The State of the Art". Sociological Methods & Research (بالإنجليزية). 50 (1): 3–44. arXiv:1703.09207. DOI:10.1177/0049124118782533. ISSN:0049-1241. S2CID:12924416. Archived from the original on 2025-02-19.
1 2 Räz, Tim (3 Mar 2021). "Group Fairness: Independence Revisited". Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (بالإنجليزية). ACM. pp. 129–137. arXiv:2101.02968. DOI:10.1145/3442188.3445876. ISBN:978-1-4503-8309-7. S2CID:231667399.
1 2 3 Verma، Sahil؛ Rubin، Julia (2018). "Fairness definitions explained". Proceedings of the International Workshop on Software Fairness. ص. 1–7. DOI:10.1145/3194770.3194776. ISBN:9781450357463. S2CID:49561627.
↑ Gursoy، Furkan؛ Kakadiaris، Ioannis A. (نوفمبر 2022). "Equal Confusion Fairness: Measuring Group-Based Disparities in Automated Decision Systems". 2022 IEEE International Conference on Data Mining Workshops (ICDMW). IEEE. ص. 137–146. arXiv:2307.00472. DOI:10.1109/ICDMW58026.2022.00027. ISBN:979-8-3503-4609-1. S2CID:256669476.
↑ A bot will complete this citation soon. Click here to jump the queue أرخايف:2102.00311.
↑ Mullainathan، Sendhil (19 يونيو 2018). Algorithmic Fairness and the Social Welfare Function. Keynote at the 19th ACM Conference on Economics and Computation (EC'18). YouTube. 48 دقيقة. مؤرشف من الأصل في 2024-04-24. In other words, if you have a social welfare function where what you care about is harm, and you care about harm to the African Americans, there you go: 12 percent less African Americans in jail overnight.... Before we get into the minutiae of relative harm, the welfare function is defined in absolute harm, so we should actually calculate the absolute harm first.
↑ Mitchell، Shira؛ Potash، Eric؛ Barocas، Solon؛ d'Amour، Alexander؛ Lum، Kristian (2021). "Algorithmic Fairness: Choices, Assumptions, and Definitions". Annual Review of Statistics and Its Application. ج. 8 ع. 1: 141–163. arXiv:1811.07867. Bibcode:2021AnRSA...8..141M. DOI:10.1146/annurev-statistics-042720-125902. S2CID:228893833.
↑ Castelnovo، Alessandro؛ Crupi، Riccardo؛ Greco، Greta؛ Regoli، Daniele؛ Penco، Ilaria Giuseppina؛ Cosentini، Andrea Claudio (2022). "A clarification of the nuances in the fairness metrics landscape". Scientific Reports. ج. 12 ع. 1: 4209. arXiv:2106.00467. Bibcode:2022NatSR..12.4209C. DOI:10.1038/s41598-022-07939-1. PMC:8913820. PMID:35273279.
↑ Mehrabi, Ninareh, Fred Morstatter, Nripsuta Saxena, Kristina Lerman, and Aram Galstyan. "A survey on bias and fairness in machine learning." ACM Computing Surveys (CSUR) 54, no. 6 (2021): 1–35.
↑ Dwork، Cynthia؛ Hardt، Moritz؛ Pitassi، Toniann؛ Reingold، Omer؛ Zemel، Richard (2012). "Fairness through awareness". Proceedings of the 3rd Innovations in Theoretical Computer Science Conference on - ITCS '12. ص. 214–226. DOI:10.1145/2090236.2090255. ISBN:9781450311151. S2CID:13496699.
↑ Galhotra، Sainyam؛ Brun، Yuriy؛ Meliou، Alexandra (2017). "Fairness testing: Testing software for discrimination". Proceedings of the 2017 11th Joint Meeting on Foundations of Software Engineering. ص. 498–510. arXiv:1709.03221. DOI:10.1145/3106237.3106277. ISBN:9781450351058. S2CID:6324652.
↑ Kusner, M. J., Loftus, J., Russell, C., & Silva, R. (2017). Counterfactual fairness. Advances in neural information processing systems, 30. نسخة محفوظة 2025-02-07 على موقع واي باك مشين.
↑ Coston، Amanda؛ Mishler، Alan؛ Kennedy، Edward H.؛ Chouldechova، Alexandra (27 يناير 2020). "Counterfactual risk assessments, evaluation, and fairness". Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency. FAT* '20. New York, NY, USA: Association for Computing Machinery. ص. 582–593. DOI:10.1145/3351095.3372851. ISBN:978-1-4503-6936-7. S2CID:202539649.
↑ Mishler، Alan؛ Kennedy، Edward H.؛ Chouldechova، Alexandra (1 مارس 2021). "Fairness in Risk Assessment Instruments". Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. FAccT '21. New York, NY, USA: Association for Computing Machinery. ص. 386–400. DOI:10.1145/3442188.3445902. ISBN:978-1-4503-8309-7. S2CID:221516412.
1 2 Plecko، Drago؛ Bareinboim، Elias (2022). "Causal Fairness Analysis". arXiv:2207.11385. {{استشهاد بدورية محكمة}}: الاستشهاد بدورية محكمة يطلب |دورية محكمة= (مساعدة)
↑ Richard Zemel; Yu (Ledell) Wu; Kevin Swersky; Toniann Pitassi; Cyntia Dwork, Learning Fair Representations. Retrieved 1 December 2019 نسخة محفوظة 2025-03-13 على موقع واي باك مشين.
↑ Faisal Kamiran; Toon Calders, Data preprocessing techniques for classification without discrimination. Retrieved 17 December 2019 نسخة محفوظة 2025-05-27 على موقع واي باك مشين.
↑ Muhammad Bilal Zafar; Isabel Valera; Manuel Gómez Rodríguez; Krishna P. Gummadi, Fairness Beyond Disparate Treatment & Disparate Impact: Learning Classification without Disparate Mistreatment. Retrieved 1 December 2019 نسخة محفوظة 2025-01-08 على موقع واي باك مشين.
1 2 Brian Hu Zhang; Blake Lemoine; Margaret Mitchell, Mitigating Unwanted Biases with Adversarial Learning. Retrieved 17 December 2019
1 2 Moritz Hardt; Eric Price; Nathan Srebro, Equality of Opportunity in Supervised Learning. Retrieved 1 December 2019 نسخة محفوظة 2025-05-18 على موقع واي باك مشين.
1 2 Faisal Kamiran; Asim Karim; Xiangliang Zhang, Decision Theory for Discrimination-aware Classification. Retrieved 17 December 2019 نسخة محفوظة 2023-11-27 على موقع واي باك مشين.

[1] A bot will complete this citation soon. Click here to jump the queue أرخايف:2010.04053.

[:0-2] 1 2 Mattu, Julia Angwin, Jeff Larson, Lauren Kirchner, Surya. "Machine Bias". ProPublica (بالإنجليزية). Archived from the original on 2025-05-27. Retrieved 2022-04-16.{{استشهاد ويب}}: صيانة الاستشهاد: أسماء متعددة: قائمة المؤلفين (link)

[3] Friedler, Sorelle A.; Scheidegger, Carlos; Venkatasubramanian, Suresh (Apr 2021). "The (Im)possibility of fairness: different value systems require different mechanisms for fair decision making". Communications of the ACM (بالإنجليزية). 64 (4): 136–143. DOI:10.1145/3433949. ISSN:0001-0782. S2CID:1769114. Archived from the original on 2025-02-18.

[4] Mehrabi، Ninareh؛ Morstatter، Fred؛ Saxena، Nripsuta؛ Lerman، Kristina؛ Galstyan، Aram (13 يوليو 2021). "A Survey on Bias and Fairness in Machine Learning". ACM Computing Surveys. ج. 54 ع. 6: 115:1–115:35. arXiv:1908.09635. DOI:10.1145/3457607. ISSN:0360-0300. S2CID:201666566.

[5] "Responsible AI practices". Google AI (بالإنجليزية). Archived from the original on 2023-05-07. Retrieved 2022-11-18.

[6] Fairness Indicators، tensorflow، 10 نوفمبر 2022، مؤرشف من الأصل في 2025-05-12، اطلع عليه بتاريخ 2022-11-18

[IBM-7] "AI Fairness 360". aif360.mybluemix.net. مؤرشف من الأصل في 2022-06-29. اطلع عليه بتاريخ 2022-11-18.

[8] "IBM AI Fairness 360 open source toolkit adds new functionalities". Tech Republic. 4 يونيو 2020.

[9] "How we're using Fairness Flow to help build AI that works better for everyone". ai.facebook.com (بالإنجليزية). Archived from the original on 2023-06-10. Retrieved 2022-11-18.

[10] "AI experts warn Facebook's anti-bias tool is 'completely insufficient'". VentureBeat (بالإنجليزية الأمريكية). 31 Mar 2021. Archived from the original on 2024-10-07. Retrieved 2022-11-18.

[Hutchinson_Mitchell_2019_p.-11] Hutchinson، Ben؛ Mitchell، Margaret (29 يناير 2019). "50 Years of Test (Un)fairness". Proceedings of the Conference on Fairness, Accountability, and Transparency. New York, NY, USA: ACM FAT*'19. ص. 49–58. arXiv:1811.10104. DOI:10.1145/3287560.3287600. ISBN:9781450361255.

[:1-12] 1 2 3 Luo، Queenie؛ Puett، Michael J.؛ Smith، Michael D. (23 مايو 2023)، A Perspectival Mirror of the Elephant: Investigating Language Bias on Google, ChatGPT, Wikipedia, and YouTube، arXiv:2303.16281

[13] Kotek، Hadas؛ Dockum، Rikker؛ Sun، David (5 نوفمبر 2023). "Gender bias and stereotypes in Large Language Models". Proceedings of the ACM Collective Intelligence Conference. CI '23. New York, NY, USA: Association for Computing Machinery. ص. 12–24. DOI:10.1145/3582269.3615599. ISBN:979-8-4007-0113-9.

[14] Zhou، Karen؛ Tan، Chenhao (ديسمبر 2023). Bouamor، Houda؛ Pino، Juan؛ Bali، Kalika (المحررون). "Entity-Based Evaluation of Political Bias in Automatic Summarization". Findings of the Association for Computational Linguistics: EMNLP 2023. Singapore: Association for Computational Linguistics: 10374–10386. arXiv:2305.02321. DOI:10.18653/v1/2023.findings-emnlp.696. مؤرشف من الأصل في 2025-03-08.

[15] "Attorney General Eric Holder Speaks at the National Association of Criminal Defense Lawyers 57th Annual Meeting and 13th State Criminal Justice Network Conference". www.justice.gov (بالإنجليزية). 1 Aug 2014. Archived from the original on 2025-02-04. Retrieved 2022-04-16.

[16] Dieterich، William؛ Mendoza، Christina؛ Brennan، Tim (2016). "COMPAS Risk Scales: Demonstrating Accuracy Equity and Predictive Parity" (PDF). Northpointe Inc. مؤرشف من الأصل (PDF) في 2023-03-07.

[17] Angwin, Jeff Larson, Julia (29 Jul 2016). "Technical Response to Northpointe". ProPublica (بالإنجليزية). Archived from the original on 2025-04-07. Retrieved 2022-11-18.{{استشهاد ويب}}: صيانة الاستشهاد: أسماء متعددة: قائمة المؤلفين (link)

[18] Rose, Adam (22 Jan 2010). "Are face-detection cameras racist?". Time (بالإنجليزية الأمريكية). ISSN:0040-781X. Archived from the original on 2024-06-02. Retrieved 2022-11-18.

[19] "Google says sorry for racist auto-tag in photo app". The Guardian (بالإنجليزية). 1 Jul 2015. Retrieved 2022-04-16.

[20] "A beauty contest was judged by AI and the robots didn't like dark skin". The Guardian (بالإنجليزية). 8 Sep 2016. Retrieved 2022-04-16.

[Buolamwini2018-21] 1 2 Buolamwini، Joy؛ Gebru، Timnit (فبراير 2018). "Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification" (PDF). Conference on Fairness, Accountability and Transparency. New York, NY, USA. ص. 77–91. مؤرشف من الأصل (PDF) في 2025-05-29.

[22] "Student proves Twitter algorithm 'bias' toward lighter, slimmer, younger faces". The Guardian (بالإنجليزية). 10 Aug 2021. Retrieved 2022-11-18.

[23] openai/dalle-2-preview، OpenAI، 17 نوفمبر 2022، مؤرشف من الأصل في 2024-11-25، اطلع عليه بتاريخ 2022-11-18

[24] "No quick fix: How OpenAI's DALL·E 2 illustrated the challenges of bias in AI". NBC News (بالإنجليزية). 27 Jul 2022. Archived from the original on 2025-05-07. Retrieved 2024-07-23.

[25] "Amazon scraps secret AI recruiting tool that showed bias against women". Reuters (بالإنجليزية). 10 Oct 2018. Archived from the original on 2025-02-28. Retrieved 2022-11-18.

[26] "Apple Card algorithm sparks gender bias allegations against Goldman Sachs". Washington Post (بالإنجليزية الأمريكية). ISSN:0190-8286. Archived from the original on 2025-02-06. Retrieved 2022-11-18.

[27] Martinez, Emmanuel; Kirchner, Lauren (25 Aug 2021). "The Secret Bias Hidden in Mortgage-Approval Algorithms – The Markup". themarkup.org (بالإنجليزية). Archived from the original on 2025-05-16. Retrieved 2022-11-18.

[Ruggieri_Alvarez_Pugnana_State_2023_pp._15421–15430-28] Ruggieri، Salvatore؛ Alvarez، Jose M.؛ Pugnana، Andrea؛ State، Laura؛ Turini، Franco (26 يونيو 2023). "Can We Trust Fair-AI?". Proceedings of the AAAI Conference on Artificial Intelligence. Association for the Advancement of Artificial Intelligence (AAAI). ج. 37 ع. 13: 15421–15430. DOI:10.1609/aaai.v37i13.26798. hdl:11384/136444. ISSN:2374-3468. S2CID:259678387.

[Buyl_De_Bie_p.-29] Buyl، Maarten؛ De Bie، Tijl (2022). "Inherent Limitations of AI Fairness". Communications of the ACM. ج. 67 ع. 2: 48–55. arXiv:2212.06495. DOI:10.1145/3624700. hdl:1854/LU-01GMNH04RGNVWJ730BJJXGCY99.

[Castelnovo_Inverardi_Nanino_Penco_p.-30] A bot will complete this citation soon. Click here to jump the queue أرخايف:2311.12435.

[31] Gaudeul، Alexia؛ Arrigoni، Ottla؛ Charisi، Vicky؛ Escobar-Planas، Marina؛ Hupont، Isabelle (2024)، "Understanding the Impact of Human Oversight on Discriminatory Outcomes in AI-Supported Decision-Making"، ECAI 2024، Frontiers in Artificial Intelligence and Applications، IOS Press، ص. 1067–1074، DOI:10.3233/faia240598، ISBN:978-1-64368-548-9، مؤرشف من الأصل في 2025-04-29، اطلع عليه بتاريخ 2025-01-24

[Barocas-32] 1 2 3 4 Solon Barocas; Moritz Hardt; Arvind Narayanan, Fairness and Machine Learning. Retrieved 15 December 2019. نسخة محفوظة 2025-05-21 على موقع واي باك مشين.

[33] Mayes, Elizabeth (2001). Handbook of Credit Scoring (بالإنجليزية). NY, NY, USA: Glenlake Publishing. pp. 282. ISBN:0-8144-0619-X.

[34] Berk, Richard; Heidari, Hoda; Jabbari, Shahin; Kearns, Michael; Roth, Aaron (Feb 2021). "Fairness in Criminal Justice Risk Assessments: The State of the Art". Sociological Methods & Research (بالإنجليزية). 50 (1): 3–44. arXiv:1703.09207. DOI:10.1177/0049124118782533. ISSN:0049-1241. S2CID:12924416. Archived from the original on 2025-02-19.

[Räz_129–137-35] 1 2 Räz, Tim (3 Mar 2021). "Group Fairness: Independence Revisited". Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (بالإنجليزية). ACM. pp. 129–137. arXiv:2101.02968. DOI:10.1145/3442188.3445876. ISBN:978-1-4503-8309-7. S2CID:231667399.

[metrics_paper-36] 1 2 3 Verma، Sahil؛ Rubin، Julia (2018). "Fairness definitions explained". Proceedings of the International Workshop on Software Fairness. ص. 1–7. DOI:10.1145/3194770.3194776. ISBN:9781450357463. S2CID:49561627.

[37] Gursoy، Furkan؛ Kakadiaris، Ioannis A. (نوفمبر 2022). "Equal Confusion Fairness: Measuring Group-Based Disparities in Automated Decision Systems". 2022 IEEE International Conference on Data Mining Workshops (ICDMW). IEEE. ص. 137–146. arXiv:2307.00472. DOI:10.1109/ICDMW58026.2022.00027. ISBN:979-8-3503-4609-1. S2CID:256669476.

[chen-hooker-2021-38] A bot will complete this citation soon. Click here to jump the queue أرخايف:2102.00311.

[mullainathan-ec-2018-39] Mullainathan، Sendhil (19 يونيو 2018). Algorithmic Fairness and the Social Welfare Function. Keynote at the 19th ACM Conference on Economics and Computation (EC'18). YouTube. 48 دقيقة. مؤرشف من الأصل في 2024-04-24. In other words, if you have a social welfare function where what you care about is harm, and you care about harm to the African Americans, there you go: 12 percent less African Americans in jail overnight.... Before we get into the minutiae of relative harm, the welfare function is defined in absolute harm, so we should actually calculate the absolute harm first.

[mitchell2021-40] Mitchell، Shira؛ Potash، Eric؛ Barocas، Solon؛ d'Amour، Alexander؛ Lum، Kristian (2021). "Algorithmic Fairness: Choices, Assumptions, and Definitions". Annual Review of Statistics and Its Application. ج. 8 ع. 1: 141–163. arXiv:1811.07867. Bibcode:2021AnRSA...8..141M. DOI:10.1146/annurev-statistics-042720-125902. S2CID:228893833.

[castelnovo2022-41] Castelnovo، Alessandro؛ Crupi، Riccardo؛ Greco، Greta؛ Regoli، Daniele؛ Penco، Ilaria Giuseppina؛ Cosentini، Andrea Claudio (2022). "A clarification of the nuances in the fairness metrics landscape". Scientific Reports. ج. 12 ع. 1: 4209. arXiv:2106.00467. Bibcode:2022NatSR..12.4209C. DOI:10.1038/s41598-022-07939-1. PMC:8913820. PMID:35273279.

[mehrabi2021-42] Mehrabi, Ninareh, Fred Morstatter, Nripsuta Saxena, Kristina Lerman, and Aram Galstyan. "A survey on bias and fairness in machine learning." ACM Computing Surveys (CSUR) 54, no. 6 (2021): 1–35.

[43] Dwork، Cynthia؛ Hardt، Moritz؛ Pitassi، Toniann؛ Reingold، Omer؛ Zemel، Richard (2012). "Fairness through awareness". Proceedings of the 3rd Innovations in Theoretical Computer Science Conference on - ITCS '12. ص. 214–226. DOI:10.1145/2090236.2090255. ISBN:9781450311151. S2CID:13496699.

[causal-44] Galhotra، Sainyam؛ Brun، Yuriy؛ Meliou، Alexandra (2017). "Fairness testing: Testing software for discrimination". Proceedings of the 2017 11th Joint Meeting on Foundations of Software Engineering. ص. 498–510. arXiv:1709.03221. DOI:10.1145/3106237.3106277. ISBN:9781450351058. S2CID:6324652.

[cff-45] Kusner, M. J., Loftus, J., Russell, C., & Silva, R. (2017). Counterfactual fairness. Advances in neural information processing systems, 30. نسخة محفوظة 2025-02-07 على موقع واي باك مشين.

[46] Coston، Amanda؛ Mishler، Alan؛ Kennedy، Edward H.؛ Chouldechova، Alexandra (27 يناير 2020). "Counterfactual risk assessments, evaluation, and fairness". Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency. FAT* '20. New York, NY, USA: Association for Computing Machinery. ص. 582–593. DOI:10.1145/3351095.3372851. ISBN:978-1-4503-6936-7. S2CID:202539649.

[47] Mishler، Alan؛ Kennedy، Edward H.؛ Chouldechova، Alexandra (1 مارس 2021). "Fairness in Risk Assessment Instruments". Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. FAccT '21. New York, NY, USA: Association for Computing Machinery. ص. 386–400. DOI:10.1145/3442188.3445902. ISBN:978-1-4503-8309-7. S2CID:221516412.

[Plecko_Bareinboim_p.-48] 1 2 Plecko، Drago؛ Bareinboim، Elias (2022). "Causal Fairness Analysis". arXiv:2207.11385. {{استشهاد بدورية محكمة}}: الاستشهاد بدورية محكمة يطلب |دورية محكمة= (مساعدة)

[zemel-49] Richard Zemel; Yu (Ledell) Wu; Kevin Swersky; Toniann Pitassi; Cyntia Dwork, Learning Fair Representations. Retrieved 1 December 2019 نسخة محفوظة 2025-03-13 على موقع واي باك مشين.

[reweighing-50] Faisal Kamiran; Toon Calders, Data preprocessing techniques for classification without discrimination. Retrieved 17 December 2019 نسخة محفوظة 2025-05-27 على موقع واي باك مشين.

[zafar-51] Muhammad Bilal Zafar; Isabel Valera; Manuel Gómez Rodríguez; Krishna P. Gummadi, Fairness Beyond Disparate Treatment & Disparate Impact: Learning Classification without Disparate Mistreatment. Retrieved 1 December 2019 نسخة محفوظة 2025-01-08 على موقع واي باك مشين.

[adversarial1-52] 1 2 Brian Hu Zhang; Blake Lemoine; Margaret Mitchell, Mitigating Unwanted Biases with Adversarial Learning. Retrieved 17 December 2019

[hardt-53] 1 2 Moritz Hardt; Eric Price; Nathan Srebro, Equality of Opportunity in Supervised Learning. Retrieved 1 December 2019 نسخة محفوظة 2025-05-18 على موقع واي باك مشين.

[roc-54] 1 2 Faisal Kamiran; Asim Karim; Xiangliang Zhang, Decision Theory for Discrimination-aware Classification. Retrieved 17 December 2019 نسخة محفوظة 2023-11-27 على موقع واي باك مشين.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]

[37]

[38]

[39]

[40]

[41]

[42]

[43]

[44]

[45]

[46]

[47]

[48]

[49]

[50]

[51]

[52]

[53]

[54]