En France, le dispositif d'"intelligence artificielle" utilisé par la Caisse d'Allocation Familiale est accusé par le Collectif Changer de cap de discriminer les plus fragiles (mères seules avec enfants, familles d'origine immigrée...). Nous avons organisé un débat avec ce collectif et avons relayé son "Appel pour remettre l’humain et le droit dans l’action des CAF".

Les projets autour de France Travail (future appellation de Pôle Emploi) visent de la même façon à très fortement diminuer les allocations par une sélection automatisée et discriminatoire des indemnisé·es.

Aux Pays-Bas, des dispositifs d'IA utilisés par tous les services sociaux et le fisc ont provoqué un scandale (poussant en 2019 le gouvernement à la démission). Cela a conduit à l'abandon de ces systèmes au nom des droits humains, mais le remboursement des sommes colossales prélevées sur les plus pauvres n'est que partiellement résolu. Ci-dessous des extraits d'articles de Médiapart, d'Amnesty Netherlands, cet exemple montre ce que collectivement nous pourrions faire en France !

Aux Pays-Bas, un algorithme discriminatoire a ruiné des milliers de familles (Médiapart)

C'est la "Toeslagenaffaire", "l’affaire des allocations familiales" où, au total entre 2012 et 2019, 25 000 à 35 000 personnes ont été accusées de fraude aux prestations sociales, à tort dans 94 % des cas.

Aux Pays-Bas, dès les années 1980, la lutte "contre la fraude sociale" devient une marotte politique. En 2010 et 2012, les accords de coalition passés par l’actuel premier ministre [à nouveau démissionnaire, élections prévues en novembre 2023] Mark Rutte (du parti de centre droit VVD), promettent de muscler la surveillance, tout en sabrant, au nom de la rigueur, dans les effectifs des services dédiés.

A l'aide du système d'intelligence artificielle SyRI (pour System Risk Indication), l’administration fiscale néerlandaise a plongé dans la détresse des dizaines de milliers de familles en leur réclamant indûment des sommes faramineuses.

À partir de 2013, pour augmenter les contrôles à moindre coût, cet algorithme attribuait à chaque bénéficiaire un score de risque de fraude aux aides sociales, aux impôts et sur le droit du travail en centralisant des données sur l'emploi, les dettes, l'éducation, le logement. Il fonctionnait en "boîte noire" : même les agent·es chargé·es de prendre en main les dossiers après leur signalement ignoraient ses critères.

Des catastrophes humaines en chaîne

Ainsi, un couple était sommé de prouver que leur allocation servait bien à payer des heures de garde. Ils ont fournis des justificatifs, "mais les impôts en réclamaient toujours plus, sans préciser quels documents ils voulaient". Puis l’aide s’est interrompue et sont arrivées les mises en demeure de rembourser. "7 000 €, puis 9 000, 5 000…" (au total plus de 22 000 €, pour d'autres ça a pu monter à 130 000 !). On ne leur laisse alors d’autre choix que de payer. "Je n’avais plus d’aide, donc plus de quoi payer la nourrice. J’ai arrêté mes études pour rester à la maison et mon mari s’est mis à enchaîner les heures sup’. On a emprunté de l’argent à nos proches pour éviter les huissiers et déménagé en catastrophe tellement nous étions ruinés."

Une fois accusés de fraude, les parents ne pouvaient plus solliciter l’aide à la garde d’enfant. Pour solder leur dette, l’administration a pratiqué un recouvrement agressif : elle a coupé leurs autres subventions (aide au logement, allocations familiales…) et a prélevé sur leur compte bancaire ce qu’elle jugeait être son dû. 

Parce qu’ils touchaient les aides les plus conséquentes, les foyers les plus précaires - les mères célibataires par exemple – ont dû rembourser les trop-perçus les plus importants.  

Une "affaire d'état"

Une juriste "découvre l’existence de listes de fraudeurs, mais les impôts refusent d’expliquer pourquoi les personnes y figurent. J’ai aussi la preuve que les agents reçoivent des instructions pour ne pas fournir à la justice tous les documents en leur possession."  En 2017, elle saisit le médiateur des Pays-Bas qui conclut que les services fiscaux n’ont pas prouvé l’existence de fraudes.

Une enquête parlementaire transforme l’histoire en affaire d’État. En décembre 2020, les député·es accusent le fisc - mais aussi la justice, qui a débouté les familles et le législateur - d’avoir "violé les principes fondamentaux de l’État de droit".

Une coalition regroupant plusieurs ONG (dont Amnesty International) et le principal syndicat batave engagent alors un procès devant le tribunal de La Haye. Celui-ci oblige les autorités néerlandaises à couper SyRI .

Le gouvernement a certes démissionné après ce scandale, en janvier 2021… Pour mieux revenir un an plus tard. "Personne n’a vraiment endossé de responsabilité de cette affaire. L’état d’esprit à la tête de l’administration n’a pas changé, ni la méfiance à l’égard des allocataires sociaux, ni le manque de transparence."

Une indemnisation aléatoire et incomplète

En février 2022, les victimes ont commencé à recevoir une indemnité forfaitaire qui, pour beaucoup, ne couvre même pas les trop-perçus réclamés. Sans parler des blessures immatérielles. Un service d’aide a été mis sur pied pour tenter de trouver des solutions personnalisées.

Mais nombre de familles dénoncent des procédures trop complexes, qui ne font que raviver leurs traumatismes. Les conséquences psychologiques et sociales, sur les enfants par exemple, soit plus de 10 000 victimes par ricochet, doivent encore faire l’objet d’enquêtes.

Le rapporteur spécial sur l'extrême pauvreté et les droits de l'homme des Nations Unies salue dans le journal britannique The Guardian un verdict qui constitue "un précédent légal fort pour les prochaines affaires". "C'est l'une des premières fois qu'un tribunal arrête un système de surveillance numérique sur la base des droits de l'homme". Philipe Alston espère que ce jugement "sonnera le réveil politique au-delà des frontières du Pays-Bas".

Dans une autre affaire, l'ONG polonaise Panoptykon est parvenue à rendre anticonstitutionnel l’algorithme utilisé par l’équivalent de Pôle Emploi en Pologne.

Un avertissement qui montre l’urgence d’interdire les algorithmes racistes (Amnesty International)

Le rapport d'Amnesty Xenophobic Machines ("Les machines xénophobes") accuse le gouvernement néerlandais d’aggraver la discrimination raciale.

Il montre que des critères relevant du profilage racial ont été intégrés lors de l’élaboration du système algorithmique SyRI.

Les autorités fiscales des Pays-Bas ont utilisé le critère de la nationalité des personnes qui formulaient les demandes pour déterminer un facteur de risque, les ressortissants d’autres pays se voyant attribuer une cote de risque plus élevée. L’algorithme était conçu de telle façon qu’il renforçait un préjugé institutionnel existant, établissant un lien entre la "race" ou l’origine ethnique et la criminalité et attribuant un type de comportement à un groupe racial ou ethnique tout entier.

Ces défauts de départ ont été reproduits par un mécanisme d’apprentissage automatique ("machine learning"), l’algorithme évoluant en s’appuyant sur l’expérience acquise, sans réelle supervision humaine. Cela a abouti à une boucle discriminatoire, dans laquelle les non-ressortissants étaient considérés comme des fraudeurs potentiels plus fréquemment que les titulaires de la nationalité néerlandaise.

Partout dans le monde, les États s’empressent d’automatiser la prestation de services publics, mais ce sont les catégories les plus marginalisées de la société qui en subissent les plus lourdes conséquences. Merel Koning, conseillère principale sur les technologies et les droits humains à Amnesty International

Amnesty a lancé un Algorithmic Accountability Lab, équipe multidisciplinaire chargée de mener un travail d’investigation et de campagne sur les risques que présentent, en matière de droits humains, les systèmes automatisés de prise de décision dans le secteur public. 

• Amnesty International appelle les gouvernements à : 
• interdire immédiatement l’utilisation de données sur la nationalité et l’origine ethnique lors de l’attribution de cotes de risque à des fins d’application de la loi pour tenter de détecter des auteurs présumés d’infraction ou de fraude ;
• prévenir les violations des droits humains liées à l’utilisation de systèmes automatisés de prise de décision, notamment en instituant une évaluation obligatoire et contraignante des répercussions de ces systèmes sur les droits humains avant leur déploiement ;
• mettre en place des systèmes efficaces de contrôle et de surveillance des systèmes algorithmiques dans le secteur public ;
• amener les responsables présumés de violations à rendre des comptes et offrir un recours utile aux personnes et aux groupes dont les droits ont été bafoués ;
• ne plus utiliser de boîtes noires et d’algorithmes d’apprentissage automatique lorsque la décision risque d’avoir des répercussions importantes sur les droits des personnes.