Algorithmes et discriminations : le Défenseur Des Droits, avec la CNIL, appelle à une mobilisation collective

La question des algorithmes fait l’objet décidément d’une très vibrante actualité juridiques, avec en moins de trois mois :

 

C’est maintenant au tour du Défenseur des droits (DDD) de prendre ce sujet à bras- le-corps, via un autre angle : celui des discriminations, lesquels pourraient glisser vers une redoutable automatisation via le big data et les algorithmes.

 

Alors, avec la CNIL, le DDD Jacques Toubon, à quelques mois de la fin de son mandat, tire la sonnette d’alarme.

Alors, voici le communiqué en date d’hier 31 mai à ce sujet (I) et le bref document de 13 pages qui en résulte (III), avec des recommandations presque aussi longues que l’étude elle-même (II).

 

I. Résumé et communiqué du DDD (31/05/2020)

 

Les outils numériques, dont l’usage s’est accru avec la crise sanitaire actuelle, reposent souvent sur des algorithmes sans que le grand public en soit toujours conscient ou informé. Désormais utilisés dans des domaines tels que l’accès aux prestations sociales, la police, la justice ou encore le recrutement, ils constituent des sources de progrès, mais sont également porteurs de risques pour les droits fondamentaux, comme l’ont déjà souligné le Défenseur des droits et la CNIL[1].

Derrière l’apparente neutralité des algorithmes, des recherches ont mis à jour l’ampleur des biais qui peuvent intervenir lors de leur conception et leur déploiement. Tout comme les bases de données qui les alimentent, ils sont conçus et générés par des humains dont les stéréotypes, en se répétant automatiquement, peuvent engendrer des discriminations.

Considérant que cet enjeu ne doit pas être un angle mort du débat public, le Défenseur des droits, en partenariat avec la CNIL, a réuni les 28 et 29 mai, des spécialistes, chercheurs, juristes et développeurs autour des enjeux de transparence des algorithmes et des biais discriminatoires. Tous les experts ont pointé les risques considérables de discrimination que leur usage exponentiel peut faire peser sur chacun et chacune d’entre nous, dans toutes les sphères de notre vie.

Pour prévenir ces discriminations, les corriger et sanctionner leurs auteurs, le Défenseur des droits appelle à une prise de conscience collective et engage les pouvoirs publics et les acteurs concernés à prendre des mesures pour éviter que les discriminations soient reproduites et amplifiées par ces technologies.

Le Défenseur des droits, en partenariat avec la CNIL, propose les orientations suivantes :

  • Former et sensibiliser les professionnels des métiers techniques et d’ingénierie informatique aux risques que les algorithmes font peser sur les droits fondamentaux ;
  • Soutenir la recherche pour développer les études de mesure et de prévention des biais, et approfondir la notion de « fair learning » – c’est-à-dire la conception d’algorithmes répondant à des objectifs d’égalité et de compréhension, et non seulement de performance ;
  • Renforcer les obligations légales en matière d’information, de transparence et d’explicabilité des algorithmes à l’égard des usagers et personnes concernées, mais également des tiers et des professionnels utilisateurs de ces systèmes, au nom de l’intérêt général, comme en témoignent par exemple les questions suscitées par Parcoursup ;
  • Réaliser des études d’impact pour anticiper les effets discriminatoires des algorithmes et contrôler leurs effets après leur déploiement.

Le développement phénoménal des technologies algorithmiques et des systèmes apprenants impose, pour les institutions, de maintenir une grande vigilance quant aux conséquences de ces évolutions technologiques, mais aussi de les anticiper, pour permettre au débat démocratique de se tenir de manière éclairée tout en pensant un cadre juridique et une régulation protecteurs des droits et libertés.

Le Défenseur des droits et la CNIL continueront leurs réflexions sur ce sujet et contribueront à celles des décideurs publics. Dans cette perspective, leur boussole ne saurait être que la volonté de garantir à toutes et à tous le respect de leurs droits fondamentaux, et en particulier celui de ne pas être discriminé et celui de la protection de leurs données personnelles.


[1] Défenseur des droits : Recruter avec des outils numériques sans discriminer, 2015 ; Lutte contre la fraude aux prestations sociales : à quel prix pour les droits des usagers ?, 2017 ; décisions Parcoursup (2018-323 et 2019-021) ; avis 18-26 (projet de loi de programmation et de réforme pour la justice) ; avis 19-11 (projet de loi bioéthique)

CNIL : décision APB (2017-053) ; « Comment permettre à l’Homme de garder la main ? », 2017.

 

 

II. Recommandations

 

Capture d’écran 2020-06-01 à 13.29.17

Capture d’écran 2020-06-01 à 13.29.26

Capture d’écran 2020-06-01 à 13.29.32

Capture d’écran 2020-06-01 à 13.29.38

 

 

III. Voici le document du DDD

 

 

algor DDD 202005