En Europe, ces IA déployées par les services publics ou des acteurs sociaux sont accusées de discrimination envers les pauvres, les handicapé.es, les migrant.es... Tour de l'Europe de la chasse numérique contre les pauvres, en France, Pologne, Pays-Bas, Danemark, Serbie.
France (2024) : recours contre l'algo de la CAF auprès du Conseil d'Etat par 15 organisations
Nous avons documenté récemment dans deux articles cette action menée par 15 organisations (AADJAM, Aequitaz, Amnesty, ANAS, APF France handicap, Changer de Cap, Fondation Abbé Pierre, Gisti, LQDN, Le Mouton numérique, LDH, MNCP, MFRB, CNDH Romeurope, SAF) :
- "Salauds de pauvres !"
- Face aux discriminations dues au "scoring", l'article 22 du RGPD ?
Pour en savoir plus : La Quadrature du net, Changer de cap et Halte au contrôle numérique, avec le soutien de la mairie de Villeurbanne* vous invitent, le 18 janvier 2025, à des rencontres à Villeurbanne pour lutter contre la numérisation des services publics
* cette municipalité a voté, en octobre 2023, une délibération "en faveur d'un droit au non-numérique dans l'accès aux services publics municipaux"
Changer de cap (qui a collecté en amont des dizaines de témoignages d'assuré.es sociaux victimes), et La Quadrature du Net (qui a mené le travail d'analyse de l'algorithme utilisé par la CAF) sont de fait les initiateurs de cette action. Des membres de ces deux associations conduiront le débat organisé à cette occasion.
Au delà de la CAF, la même analyse est menée par ces organisations sur les algos déployés autour de France Travail (ex Pôle Emploi), dans les Caisses d'assurance maladie... La Quadrature du Net a d'ailleurs créé un espace dédié à ces recherches : France contrôle.
"Défenseur des droits" (novembre 2024) "Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers ?"
Le "Défenseur des droits" (institution actuellement plus dynamique que la CNIL, par exemple !) vient de publier ce rapport qui pose des diagnostics sur les prises de décisions automatisées dans plusieurs services publics. Il inventorie aussi des pistes juridiques pour défendre les droits des usagers face à ces algorithmes.
Pologne (2014) : l'ONG Panoptykon gagne le retrait d'un algorithme qui privait certains chômeurs de toute indemnisation
Le gouvernement polonais voulait, lors d'une grande réforme de son "service à l’emploi", classer les chômeurs selon des profils à l'aide d'un algorithme (selon 24 variables, dont âge, genre, handicap, durée du chômage etc.). L'énorme base de données constituée lui permettait d'assigner chaque chômeur à un type d'emploi sur le marché du travail, et à une aide différenciée du service (certain.es étant abandonné.es à leur sort et non indemnisé.es).
Après une longue bataille juridique, L'ONG polonaise Panoptykon (article sur Algorithm Watch en anglais) est parvenue à démontrer l'anticonstitutionnalité de cette mesure. Le dispositif a été abandonné.
Pays-Bas (2021) : un algorithme discriminatoire ruine des milliers de familles (article de Médiapart)
C'est la "Toeslagenaffaire", "l’affaire des allocations familiales". Cela résultait (comme en France actuellement) d'une idéologie très droitière de "lutte contre la fraude sociale" en "musclant la surveillance", et en sabrant, au nom de la rigueur, dans les effectifs des services publics concernés.
Une même IA (SyRI, pour System Risk Indication) était utilisée par tous les services sociaux et le fisc. À partir de 2013, cet algorithme attribuait à chaque bénéficiaire un score de risque de fraude aux aides sociales, aux impôts et sur le droit du travail en centralisant des données sur l'emploi, les dettes, l'éducation, le logement. Il fonctionnait en "boîte noire" : même les agent·es chargé·es de prendre en main les dossiers après leur signalement ignoraient ses critères.
Au total entre 2012 et 2019, 25 000 à 35 000 personnes ont été accusées de fraude aux prestations sociales, à tort dans 94 % des cas. Des mises en demeure de rembourser, sans d’autre choix que de payer, leur ont été adressées, pour des montants échelonnés ou pas, jusqu'à 130 000 € ! Cela a entraîné de nombreuses faillites personnelles.
Une coalition regroupant plusieurs ONG (dont Amnesty Netherlands) et le principal syndicat batave ont engagé un procès devant le tribunal de La Haye, qui a conclu que le législateur avait "violé les principes fondamentaux de l’État de droit". Ce tribunal a obligé les autorités néerlandaises à couper SyRI, et a entraîné une "affaire d'état" poussant en 2019 à la démission le gouvernement du premier ministre Mark Rutte (du parti de centre droit VVD).
Un rapport d'Amnesty Xenophobic Machines (en anglais, "Les machines xénophobes") accuse le gouvernement néerlandais d’aggraver la discrimination raciale. Il montre que des critères relevant du profilage racial ont été intégrés lors de l’élaboration du système algorithmique SyRI.
Serbie (2023) : pris au piège de l’automatisation
En mars 2022, une "loi relative à la carte sociale" entre en vigueur en Serbie. Elle automatise le processus d’attribution ou de refus d’une aide sociale en s'appuyant sur un registre des cartes sociales. Ce système, financé par la Banque mondiale, extrait des données (revenu, âge, composition du foyer, état de santé, situation professionnelle...) pour établir un profil socio-économique des personnes qui font une demande d’aide. Il a de fait exclu des milliers de personnes du programme de protection sociale, alors que pour certains c’est leur seule source de revenus.
Une enquête d'Amnesty (en anglais) a ainsi montré que des groupes déjà marginalisés, en particulier les Roms et les personnes en situation de handicap, ont subi de plein fouet les conséquences de ce système automatisé.
Danemark (2024) : injustice codée
L'organisme danois de protection sociale, Udbetaling Danmark – UDK, est doté d’une intelligence artificielle basée sur 60 modèles algorithmiques visant à "détecter les fraudes aux prestations sociales". Elle cible notamment les personnes précaires en stockant diverses données (statut de résidence, citoyenneté, lieu de naissance, relations familiales, "affiliation étrangère"...). Elle identifie ainsi des groupes de bénéficiaires considérés comme ayant des "liens moyens et forts avec des pays non membres de l’Espace économique européen". Une fois détectées, ces personnes sont soumises en priorité à des enquêtes de fraude approfondies.
L'utilisation massive de ces algorithmes a placé plusieurs personnes dans un climat constant de peur. Une enquête d'Amnesty (en anglais) montre qu'au delà ce système permet la surveillance de ces populations en collectant et en fusionnant des données personnelles provenant des différentes bases de données publiques, ce qui concerne des millions de résidents danois. Pour Amnesty, il s’apparente à un "système de notation sociale”.
Amnesty a lancé un Algorithmic Accountability Lab, équipe multidisciplinaire chargée de mener un travail d’investigation et de campagne sur les risques que présentent, en matière de droits humains, les systèmes automatisés de prise de décision dans le secteur public. Amnesty International appelle les gouvernements à :
- interdire immédiatement l’utilisation de données sur la nationalité et l’origine ethnique lors de l’attribution de cotes de risque à des fins d’application de la loi pour tenter de détecter des auteurs présumés d’infraction ou de fraude ;
- prévenir les violations des droits humains liées à l’utilisation de systèmes automatisés de prise de décision, notamment en instituant une évaluation obligatoire et contraignante des répercussions de ces systèmes sur les droits humains avant leur déploiement ;
- mettre en place des systèmes efficaces de contrôle et de surveillance des systèmes algorithmiques dans le secteur public ;
- amener les responsables présumés de violations à rendre des comptes et offrir un recours utile aux personnes et aux groupes dont les droits ont été bafoués ;
- ne plus utiliser de boîtes noires et d’algorithmes d’apprentissage automatique lorsque la décision risque d’avoir des répercussions importantes sur les droits des personnes.
6 réponses sur « Partout en Europe, les algos pour attribuer les prestations sociales sont combattus »
[…] Des IA pour traquer les pauvres, ces "fraudreurs" […]
[…] Des IA pour traquer les pauvres, ces "fraudreurs" […]
[…] Des IA pour traquer les pauvres, ces « fraudreurs » […]
[…] Des IA pour traquer les pauvres, ces "fraudreurs" […]
[…] mettre en place des outils de "chasse aux pauvres" : par le biais d’algorithmes qui les classent en catégories de fraudeurs potentiels et les […]
[…] Des IA pour traquer les pauvres, ces "fraudreurs" (08/2023) […]