Partout en Europe, les algos pour attribuer les prestations sociales sont combattus

En Europe, ces IA déployées par les ser­vices publics ou des acteurs soci­aux sont accusées de dis­crim­i­na­tion envers les pau­vres, les handicapé.es, les migrant.es… Tour de l’Eu­rope de la chas­se numérique con­tre les pau­vres, en France, Pologne, Pays-Bas, Dane­mark, Ser­bie.

France (2024) : recours con­tre l’al­go de la CAF auprès du Con­seil d’E­tat par 15 organ­i­sa­tions

Nous avons doc­u­men­té récem­ment dans deux arti­cles cette action menée par 15 organ­i­sa­tions (AADJAM, Aequitaz, Amnesty, ANAS, APF France hand­i­cap, Chang­er de Cap, Fon­da­tion Abbé Pierre, Gisti, LQDN, Le Mou­ton numérique, LDH, MNCP, MFRB, CNDH Romeu­rope, SAF) :

Au delà de la CAF, la même analyse est menée par ces organ­i­sa­tions sur les algos déployés autour de France Tra­vail (ex Pôle Emploi), dans les Caiss­es d’as­sur­ance mal­adie… La Quad­ra­ture du Net a d’ailleurs créé un espace dédié à ces recherch­es : France con­trôle.

“Défenseur des droits” (novem­bre 2024) “Algo­rithmes, sys­tèmes d’IA et ser­vices publics : quels droits pour les usagers ?”

Le “Défenseur des droits” (insti­tu­tion actuelle­ment plus dynamique que la CNIL, par exem­ple !) vient de pub­li­er ce rap­port qui pose des diag­nos­tics sur les pris­es de déci­sions automa­tisées dans plusieurs ser­vices publics. Il inven­to­rie aus­si des pistes juridiques pour défendre les droits des usagers face à ces algo­rithmes.

Pologne (2014) : l’ONG Panop­tykon gagne le retrait d’un algo­rithme qui pri­vait cer­tains chômeurs de toute indem­ni­sa­tion

Le gou­verne­ment polon­ais voulait, lors d’une grande réforme de son “ser­vice à l’emploi”, class­er les chômeurs selon des pro­fils à l’aide d’un algo­rithme (selon 24 vari­ables, dont âge, genre, hand­i­cap, durée du chô­mage etc.). L’énorme base de don­nées con­sti­tuée lui per­me­t­tait d’assign­er chaque chômeur à un type d’emploi sur le marché du tra­vail, et à une aide dif­féren­ciée du ser­vice (certain.es étant abandonné.es à leur sort et non indemnisé.es).

Après une longue bataille juridique, L’ONG polon­aise Panop­tykon (arti­cle sur Algo­rithm Watch en anglais) est par­v­enue à démon­tr­er l’anti­con­sti­tu­tion­nal­ité de cette mesure. Le dis­posi­tif a été aban­don­né.

Pays-Bas (2021) : un algo­rithme dis­crim­i­na­toire ruine des mil­liers de familles (arti­cle de Médi­a­part)

C’est la “Toes­la­ge­naf­faire”, “l’affaire des allo­ca­tions famil­iales”. Cela résul­tait (comme en France actuelle­ment) d’une idéolo­gie très droitière de “lutte con­tre la fraude sociale” en “mus­clant la sur­veil­lance”, et en sabrant, au nom de la rigueur, dans les effec­tifs des ser­vices publics con­cernés.

Une même IA (SyRI, pour Sys­tem Risk Indi­ca­tion) était util­isée par tous les ser­vices soci­aux et le fisc. À par­tir de 2013, cet algo­rithme attribuait à chaque béné­fi­ci­aire un score de risque de fraude aux aides sociales, aux impôts et sur le droit du tra­vail en cen­tral­isant des don­nées sur l’emploi, les dettes, l’é­d­u­ca­tion, le loge­ment. Il fonc­tion­nait en “boîte noire” : même les agent·es chargé·es de pren­dre en main les dossiers après leur sig­nale­ment igno­raient ses critères.

Au total entre 2012 et 2019, 25 000 à 35 000 per­son­nes ont été accusées de fraude aux presta­tions sociales, à tort dans 94 % des cas. Des mis­es en demeure de rem­bours­er, sans d’autre choix que de pay­er, leur ont été adressées, pour des mon­tants éch­e­lon­nés ou pas, jusqu’à 130 000 € ! Cela a entraîné de nom­breuses fail­lites per­son­nelles.

Une coali­tion regroupant plusieurs ONG (dont Amnesty Nether­lands) et le prin­ci­pal syn­di­cat batave ont engagé un procès devant le tri­bunal de La Haye, qui a con­clu que le lég­is­la­teur avait “vio­lé les principes fon­da­men­taux de l’État de droit”. Ce tri­bunal a obligé les autorités néer­landais­es à couper SyRI, et a entraîné une “affaire d’é­tat” pous­sant en 2019 à la démis­sion le gou­verne­ment du pre­mier min­istre Mark Rutte (du par­ti de cen­tre droit VVD).

Un rap­port d’Amnesty Xeno­pho­bic Machines (en anglais, “Les machines xéno­phobes”) accuse le gou­verne­ment néer­landais d’aggraver la dis­crim­i­na­tion raciale. Il mon­tre que des critères rel­e­vant du pro­fi­lage racial ont été inté­grés lors de l’élaboration du sys­tème algo­rith­mique SyRI.

Ser­bie (2023) : pris au piège de l’automatisation 

En mars 2022, une “loi rel­a­tive à la carte sociale” entre en vigueur en Ser­bie. Elle automa­tise le proces­sus d’attribution ou de refus d’une aide sociale en s’ap­puyant sur un reg­istre des cartes sociales. Ce sys­tème, financé par la Banque mon­di­ale, extrait des don­nées (revenu, âge, com­po­si­tion du foy­er, état de san­té, sit­u­a­tion pro­fes­sion­nelle…) pour établir un pro­fil socio-économique des per­son­nes qui font une demande d’aide. Il a de fait exclu des mil­liers de per­son­nes du pro­gramme de pro­tec­tion sociale, alors que pour cer­tains c’est leur seule source de revenus.

Une enquête d’Amnesty (en anglais) a ain­si mon­tré que des groupes déjà mar­gin­al­isés, en par­ti­c­uli­er les Roms et les per­son­nes en sit­u­a­tion de hand­i­cap, ont subi de plein fou­et les con­séquences de ce sys­tème automa­tisé.

Dane­mark (2024) : injus­tice codée

L’or­gan­isme danois de pro­tec­tion sociale, Udbe­tal­ing Dan­mark – UDK, est doté d’une intel­li­gence arti­fi­cielle basée sur 60 mod­èles algo­rith­miques visant à “détecter les fraudes aux presta­tions sociales”. Elle cible notam­ment les per­son­nes pré­caires en stock­ant divers­es don­nées (statut de rési­dence, citoyen­neté, lieu de nais­sance, rela­tions famil­iales, “affil­i­a­tion étrangère”…). Elle iden­ti­fie ain­si des groupes de béné­fi­ci­aires con­sid­érés comme ayant des “liens moyens et forts avec des pays non mem­bres de l’Espace économique européen”. Une fois détec­tées, ces per­son­nes sont soumis­es en pri­or­ité à des enquêtes de fraude appro­fondies. 

L’u­til­i­sa­tion mas­sive de ces algo­rithmes a placé plusieurs per­son­nes dans un cli­mat con­stant de peur. Une enquête d’Amnesty (en anglais) mon­tre qu’au delà ce sys­tème per­met la sur­veil­lance de ces pop­u­la­tions en col­lec­tant et en fusion­nant des don­nées per­son­nelles provenant des dif­férentes bases de don­nées publiques, ce qui con­cerne des mil­lions de rési­dents danois. Pour Amnesty, il s’apparente à un “sys­tème de nota­tion sociale”.