Partout en Europe, les algos pour attribuer les prestations sociales sont combattus

En Europe, ces IA déployées par les services publics ou des acteurs sociaux sont accusées de discrimination envers les pauvres, les handicapé.es, les migrant.es... Tour de l'Europe de la chasse numérique contre les pauvres, en France, Pologne, Pays-Bas, Danemark, Serbie.

France (2024) : recours contre l'algo de la CAF auprès du Conseil d'Etat par 15 organisations

Nous avons documenté récemment dans deux articles cette action menée par 15 organisations (AADJAM, Aequitaz, Amnesty, ANAS, APF France handicap, Changer de Cap, Fondation Abbé Pierre, Gisti, LQDN, Le Mouton numérique, LDH, MNCP, MFRB, CNDH Romeurope, SAF) :

Au delà de la CAF, la même analyse est menée par ces organisations sur les algos déployés autour de France Travail (ex Pôle Emploi), dans les Caisses d'assurance maladie... La Quadrature du Net a d'ailleurs créé un espace dédié à ces recherches : France contrôle.

"Défenseur des droits" (novembre 2024) "Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers ?"

Le "Défenseur des droits" (institution actuellement plus dynamique que la CNIL, par exemple !) vient de publier ce rapport qui pose des diagnostics sur les prises de décisions automatisées dans plusieurs services publics. Il inventorie aussi des pistes juridiques pour défendre les droits des usagers face à ces algorithmes.

Pologne (2014) : l'ONG Panoptykon gagne le retrait d'un algorithme qui privait certains chômeurs de toute indemnisation

Le gouvernement polonais voulait, lors d'une grande réforme de son "service à l’emploi", classer les chômeurs selon des profils à l'aide d'un algorithme (selon 24 variables, dont âge, genre, handicap, durée du chômage etc.). L'énorme base de données constituée lui permettait d'assigner chaque chômeur à un type d'emploi sur le marché du travail, et à une aide différenciée du service (certain.es étant abandonné.es à leur sort et non indemnisé.es).

Après une longue bataille juridique, L'ONG polonaise Panoptykon (article sur Algorithm Watch en anglais) est parvenue à démontrer l'anticonstitutionnalité de cette mesure. Le dispositif a été abandonné.

Pays-Bas (2021) : un algorithme discriminatoire ruine des milliers de familles (article de Médiapart)

C'est la "Toeslagenaffaire", "l’affaire des allocations familiales". Cela résultait (comme en France actuellement) d'une idéologie très droitière de "lutte contre la fraude sociale" en "musclant la surveillance", et en sabrant, au nom de la rigueur, dans les effectifs des services publics concernés.

Une même IA (SyRI, pour System Risk Indication) était utilisée par tous les services sociaux et le fisc. À partir de 2013, cet algorithme attribuait à chaque bénéficiaire un score de risque de fraude aux aides sociales, aux impôts et sur le droit du travail en centralisant des données sur l'emploi, les dettes, l'éducation, le logement. Il fonctionnait en "boîte noire" : même les agent·es chargé·es de prendre en main les dossiers après leur signalement ignoraient ses critères.

Au total entre 2012 et 2019, 25 000 à 35 000 personnes ont été accusées de fraude aux prestations sociales, à tort dans 94 % des cas. Des mises en demeure de rembourser, sans d’autre choix que de payer, leur ont été adressées, pour des montants échelonnés ou pas, jusqu'à 130 000 € ! Cela a entraîné de nombreuses faillites personnelles.

Une coalition regroupant plusieurs ONG (dont Amnesty Netherlands) et le principal syndicat batave ont engagé un procès devant le tribunal de La Haye, qui a conclu que le législateur avait "violé les principes fondamentaux de l’État de droit". Ce tribunal a obligé les autorités néerlandaises à couper SyRI, et a entraîné une "affaire d'état" poussant en 2019 à la démission le gouvernement du premier ministre Mark Rutte (du parti de centre droit VVD).

Un rapport d'Amnesty Xenophobic Machines (en anglais, "Les machines xénophobes") accuse le gouvernement néerlandais d’aggraver la discrimination raciale. Il montre que des critères relevant du profilage racial ont été intégrés lors de l’élaboration du système algorithmique SyRI.

Serbie (2023) : pris au piège de l’automatisation 

En mars 2022, une "loi relative à la carte sociale" entre en vigueur en Serbie. Elle automatise le processus d’attribution ou de refus d’une aide sociale en s'appuyant sur un registre des cartes sociales. Ce système, financé par la Banque mondiale, extrait des données (revenu, âge, composition du foyer, état de santé, situation professionnelle...) pour établir un profil socio-économique des personnes qui font une demande d’aide. Il a de fait exclu des milliers de personnes du programme de protection sociale, alors que pour certains c’est leur seule source de revenus.

Une enquête d'Amnesty (en anglais) a ainsi montré que des groupes déjà marginalisés, en particulier les Roms et les personnes en situation de handicap, ont subi de plein fouet les conséquences de ce système automatisé.

Danemark (2024) : injustice codée

L'organisme danois de protection sociale, Udbetaling Danmark – UDK, est doté d’une intelligence artificielle basée sur 60 modèles algorithmiques visant à "détecter les fraudes aux prestations sociales". Elle cible notamment les personnes précaires en stockant diverses données (statut de résidence, citoyenneté, lieu de naissance, relations familiales, "affiliation étrangère"...). Elle identifie ainsi des groupes de bénéficiaires considérés comme ayant des "liens moyens et forts avec des pays non membres de l’Espace économique européen". Une fois détectées, ces personnes sont soumises en priorité à des enquêtes de fraude approfondies. 

L'utilisation massive de ces algorithmes a placé plusieurs personnes dans un climat constant de peur. Une enquête d'Amnesty (en anglais) montre qu'au delà ce système permet la surveillance de ces populations en collectant et en fusionnant des données personnelles provenant des différentes bases de données publiques, ce qui concerne des millions de résidents danois. Pour Amnesty, il s’apparente à un "système de notation sociale”.