De l’importance de la « non discrimination »

Publié le 19 avril 2018

La discrimination est l’un des risques souvent mis en avant concernant l’usage des algorithmes. Comment la caractériser et la mesurer ? Nos éléments de réponse pour y voir plus clair.

AUTEURS

Daniel Lematayer

Directeur de Recherche Inria – Membre de l’Equipe-projet Inria Privatics et du CITI, laboratoire de l’INSA de Lyon

Comment qualifier la discrimination ?

Le sens premier de discrimination (du latin discriminatio, séparation) est le fait de différencier des éléments en vue d’un traitement séparé. À ce premier sens, neutre, s’est désormais substitué une connotation négative de différentiation injuste ou inégalitaire.

Ce que dit la loi

La discrimination est prohibée par différents textes européens : Convention Européenne des Droits de l’Homme, et la loi française. Le Code pénal français définit une liste précise de critères de discrimination tels que : l’origine, le sexe, le lieu de résidence, l’âge, les opinions politiques, etc. Ceux-ci ne peuvent être utilisés dans des cadres précis comme la fourniture de biens ou de services, l’embauche, le licenciement, etc. (Articles 225-1 et 225-2 du Code pénal).

À quel moment la discrimination devient-elle un risque ?

Quand des systèmes algorithmiques remplacent ou guident des décideurs dans ces domaines, ils peuvent donner lieu à des discriminations sanctionnées par la loi.  Il convient donc de vérifier, ou encore mieux de s’assurer lors de sa conception, qu’un système algorithmique utilisé pour l’aide à la décision ne peut pas conduire à des discriminations.

Exemples de discrimination et de prévention

Les discriminations indirectes, celles qui ne reposent pas sur un critère prohibé mais sur des critères corrélés à ceux-ci, sont les plus courantes. Un algorithme pourrait par exemple utiliser une combinaison d’informations comme des mensurations physiques, ou des informations comportementales qui permettraient de discriminer selon le sexe sans pour autant utiliser explicitement cette information.

Une autre difficulté réside dans la multiplicité des facteurs qui peuvent affecter un résultat. Différents critères de discrimination ont été définis. Certains sont globaux, comme par exemple la règle des 4/5 de l’Equal Employment Opportunity Commission (USA) qui prévoit que la proportion de la population « protégée » sélectionnée pour un emploi ne doit pas être inférieure à 4/5 de la proportion de la population « non protégée » sélectionnée. D’autres, plus fins, reposent sur le fait que des profils similaires (sur la base de facteurs non prohibés) doivent être traités de manière similaire. Des travaux de plus en plus nombreux sont effectués pour détecter de manière expérimentale des traitements algorithmiques discriminants. D’autres ont pour but de concevoir des algorithmes qui satisfont, par construction, des critères précis de non-discrimination.

Des travaux de plus en plus nombreux sont effectués pour détecter de manière expérimentale des traitements algorithmiques discriminants. D’autres ont pour but de concevoir des algorithmes qui satisfont, par construction, des critères précis de non-discrimination. La question essentielle à cet égard est celle de l’apprentissage. On sait en effet que les algorithmes qui reposent sur l’apprentissage ont, par définition, tendance à reproduire les caractéristiques, et notamment les biais, des jeux de données qui leur sont fournis en entrée. Un algorithme entraîné sur une base de données salariales qui comporterait des différences de traitements notables entre hommes et femmes ou entre employés habitant dans des quartiers différents, par exemple, reproduira naturellement ces discriminations. Des techniques peuvent être appliquées pour mesurer ce genre de biais ou pour les éviter, par exemple en s’assurant que l’apprentissage est effectué sur un jeu de données non biaisé (S. Hajian, J. Domingo-Ferrer, Direct and indirect discrimination prevention methods (pdf), in “Discrimination and Privacy in the Information Society”, Chapter 13, pp. 241-254, Springer, 2013).

 

 

Ajouter une ressource

Participer vous aussi au développement de la transparence des algorithmes et des données en ajoutant des ressources

Commentaires

Les commentaires pour cette ressource sont désactivés.