Algorithmes discriminatoires : le Défenseur des droits et la CNIL réunissent les experts

Domaine de compétence de l'institution : Lutte contre les discriminations et promotion de l'égalité I

Mots clés : Discrimination, CNIL, algorithmes

Jeudi 28 et vendredi 29 mai, le Défenseur des droits, en partenariat avec la CNIL, organise un séminaire d’experts autour des algorithmes discriminatoires. L’occasion d’un premier dialogue entre chercheurs, sociologues, juristes et développeurs. A l’issue, les deux autorités proposeront plusieurs recommandations afin de garantir à chacun une égalité de traitement dans les nombreuses situations où une partie du choix est faite par une intelligence artificielle.

Recruter le bon candidat, accorder un crédit, identifier les bénéficiaires d’aides sociales...l’utilisation des algorithmes est désormais acquise dans bon nombre de domaines de notre vie courante et constitue, comme le qualifie le Conseil d’État en 2017 un « tournant inédit ».  On retrouve aujourd’hui les algorithmes dans des domaines aussi essentiels pour les individus que l’accès aux prestations sociales[1], la police et la justice[2], le fonctionnement des organisations telles que les hôpitaux, l’accès aux service publics[3] ou encore les procédures d’embauches[4].

L’essor de ces technologies constitue d’incontestables évolutions : les algorithmes permettent de trier, classer ou d’ordonner des informations, de plus en plus nombreuses, en se débarrassant a priori des préjugés propres aux affects des humains, garantissant l’égalité de traitement.

En réalité, il n’y a ni magie technologique ni neutralité mathématique : les algorithmes sont conçus par des humains et à partir de données reflétant des pratiques humaines. Ainsi des biais peuvent être intégrés dans l’élaboration des systèmes et engendrer des discriminations.

Par exemple, une étude en 2018 a mis en lumière les difficultés de certains systèmes de reconnaissance faciale pour identifier les femmes, les personnes non blanches et les femmes de couleur. Le manque de représentativité des données mobilisées a été mis en cause : le stock de données sur lesquelles les modèles s’appuyaient était marqué par une très forte prédominance des visages masculins et blancs[5].

Dans plusieurs guides et rapports, (Guide - Recruter avec des outils numériques sans discriminer, Défenseur des droits 2015 ; « Comment permettre à l’Homme de garder la main », CNIL 2017 ; Rapport Lutte contre la fraude aux prestations sociales : à quel prix pour les droits des usagers ?, Défenseur des droits 2017, Décisions Parcoursup (2018-323 du 21 décembre 2018 et 2019-21 du 18 janvier 2019), la CNIL et le Défenseur des droits ont, chacun dans leur domaine de compétences, déjà fait part de leurs préoccupations quant à l’impact de certains systèmes algorithmiques sur les droits fondamentaux[6].

Dans la crise sanitaire inédite que le monde traverse et alors que le sujet des algorithmes discriminatoires est longtemps resté un angle mort du débat public, le Défenseur des droits et la CNIL réunissent experts, chercheurs, juristes et développeurs afin d’explorer un sujet qui appelle nécessairement des contributions techniques et innovantes de plusieurs secteurs.

A l’issue de ces travaux, une première série de recommandations sera publiée afin d’encourager une prise de conscience collective de ces phénomènes discriminatoires et la responsabilisation de tous les opérateurs utilisant ces technologies pour veiller à ce que s’applique le droit de chacun d’être traité à égalité avec les autres.

 

 

[1] Délégation Nationale à la Lutte contre la Fraude, Le « data mining », une démarche pour améliorer le ciblage des contrôles, Paris, le 14 janvier 2014.

[2] A. Garapon, « Les enjeux de la justice prédictive », JCP G., 9 janvier 2017, doctr. 31.

[3] Voir par exemple, Direction interministérielle du numérique et du système d'information et de communication de l'Etat, DINSIC, Guide des algorithmes publics 2019

[4] Christine Bargain, Marie Beaurepaire, Dorothée Prud’homme, Recruter avec des algorithmes ? Usages, opportunités et risques, AFMD, 2019

[5] Selon l’étude de Joy Buolamwini, chercheuse du MIT, le taux d’erreur du Logiciel Rekognition d’Amazon est de 1% pour les hommes de peau claire, 7% pour les femmes de peau claire, 12% pour les hommes de couleur, 35% pour les femmes de couleur. Voir Hardesty, Larry. “Study Finds Gender and Skin-Type Bias in Commercial Artificial-Intelligence Systems.” MIT News, February 11, 2018.

[6] CNIL, « Comment permettre à l’Homme de garder la main ? Rapport sur les enjeux éthiques des algorithmes et de l’intelligence artificielle », 15 décembre 2017.

Défenseur des droits, Guide - Recruter avec des outils numériques sans discriminer publié en 2015, Avis n°15-25 du 1er décembre 2015 sur la sécurité dans les gares ; Rapport Lutte contre la fraude aux prestations sociales : à quel prix pour les droits des usagers ?, septembre 2017, Décisions Parcoursup (2018-323 du 21 décembre 2018 et 2019-21 du 18 janvier 2019), Avis 18-26 du 31 octobre 2018 sur le projet de loi de programmation et de réforme pour la justice, avis 19-11 du 5 septembre 2019 sur le projet de loi bioéthique