Dans les défaillances des décisions automatisées

Nous relayons ci-dessous un arti­cle du jour­nal­iste Hubert Guil­laud (auteur du livre Les algo­rithmes con­tre la société) qui syn­thé­tise plusieurs de nos arti­cles sur ces déci­sions automa­tisées et leurs con­séquences sur nos vies. A not­er qu’il existe un droit européen applic­a­ble en France (arti­cle 22 du RGPD, que nous analysons en nous référant à Elise Degrave, juriste belge), qui prévoit que “les indi­vidus ont le droit de ne pas faire l’objet d’une déci­sion fondée exclu­sive­ment sur un traite­ment automa­tisé”, ce qui ouvre la pos­si­bil­ité de deman­der une déci­sion non numérique – donc humaine !

Les déci­sions automa­tisées façon­nent nos rap­ports au réel. Dans les champs du social, du privé au pub­lic, de la banque à la CAF, elles sont partout défail­lantes. D’abord, parce que les erreurs des cal­culs ne sont pas une respon­s­abil­ité pour ceux qui pro­duisent les cal­culs. Ensuite parce que les indi­vidus mal cal­culés voient leurs pos­si­bil­ités d’action réduites plutôt qu’élargies.

Les sys­tèmes de prise de déci­sion automa­tisée (ADM, pour auto­mat­ed deci­sion-mak­ing) sont partout. Ils touchent tous les types d’activités humaines et notam­ment la dis­tri­b­u­tion de ser­vices publics à des mil­lions de citoyens européens mais égale­ment nom­bre de ser­vices privés essen­tiels, comme la banque, la fix­a­tion des prix ou l’assurance. Partout, les sys­tèmes con­trô­lent l’accès à nos droits et à nos pos­si­bil­ités d’action.

Opacité et défaillance généralisée

En 2020 déjà, la grande asso­ci­a­tion européenne de défense des droits numériques, Algo­rithm Watch, expli­quait dans un rap­port que ces sys­tèmes se général­i­saient dans la plus grande opac­ité. Alors que le cal­cul est partout, l’association soulig­nait que si ces déploiements pou­vaient être utiles, très peu de cas mon­traient de “manière con­va­in­cante un impact posi­tif”. La plu­part des sys­tèmes de déci­sion automa­tisés met­tent les gens en dan­ger plus qu’ils ne les pro­tè­gent, dis­ait déjà l’association.

Dans son inven­taire des algo­rithmes publics, l’Obser­va­toire des algo­rithmes publics mon­tre, très con­crète­ment, com­bi­en le déploiement des sys­tèmes de prise de déci­sion automa­tisée reste opaque, mal­gré les oblig­a­tions de trans­parence qui incombent aux sys­tèmes.

Avec son ini­tia­tive France Con­trôle, la Quad­ra­ture du Net, accom­pa­g­née de col­lec­tifs de lutte con­tre la pré­car­ité, doc­u­mente elle aus­si le déploiement des algo­rithmes de con­trôle social et leurs défail­lances. Dès 2018, les travaux pio­nniers de la poli­tiste Vir­ginia Eubanks, nous ont appris que les sys­tèmes élec­tron­iques mis en place pour cal­culer, dis­tribuer et con­trôler l’aide sociale sont bien sou­vent par­ti­c­ulière­ment défail­lants, et notam­ment les sys­tèmes automa­tisés cen­sés lut­ter con­tre la fraude, devenus l’alpha et l’oméga des poli­tiques publiques austéri­taires.

Mal­gré la Loi pour une République numérique (2016), la trans­parence de ces cal­culs, seule à même de dévoil­er et cor­riger leurs défail­lances, ne pro­gresse pas. On peut donc se deman­der, assez légitime­ment, ce qu’il y a cacher.

A mesure que ces sys­tèmes se déploient, ce sont donc les enquêtes des syn­di­cats, des mil­i­tants, des chercheurs, des jour­nal­istes qui doc­u­mentent les défail­lances des déci­sions automa­tisées dans tous les secteurs de la société où elles sont présentes.

Ces enquêtes sont ren­dues partout dif­fi­ciles, d’abord et avant tout parce qu’on ne peut saisir les paramètres des sys­tèmes de déci­sion automa­tisée sans y accéder.

3 problèmes récurrents

S’il est dif­fi­cile de faire un con­stat glob­al sur les défail­lances spé­ci­fiques de tous les sys­tèmes automa­tisés, qu’ils s’appliquent à la san­té, l’éducation, le social ou l’économie, on peut néan­moins not­er 3 prob­lèmes récur­rents.

Les erreurs ne sont pas un prob­lème pour les struc­tures qui cal­cu­lent. Pour le dire tech­nique­ment, la plu­part des acteurs qui pro­duisent des sys­tèmes de déci­sion automa­tisée pro­duisent des faux posi­tifs impor­tants, c’est-à-dire caté­gorisent des per­son­nes indû­ment. Dans les sys­tèmes ban­caires par exem­ple, comme l’a mon­tré une enquête de l’AFP et d’Algorithm Watch, cer­taines activ­ités déclenchent des alertes et con­duisent à qual­i­fi­er les pro­fils des clients comme prob­lé­ma­tiques voire à sus­pendre les pos­si­bil­ités ban­caires d’individus ou d’organisations, sans qu’elles n’aient à ren­dre de compte sur ces sus­pen­sions.

Au con­traire, parce qu’elles sont invitées à la vig­i­lance face aux activ­ités de fraude, de blanchi­ment d’argent ou le finance­ment du ter­ror­isme, elles sont encour­agées à pro­duire des faux posi­tifs pour mon­tr­er qu’elles agis­sent, tout comme les organ­ismes soci­aux sont poussés à détecter de la fraude pour attein­dre leurs objec­tifs de con­trôle.

Selon les don­nées de l’autorité qui con­trôle les ban­ques et les marchés financiers au Roy­aume-Uni, 170 000 per­son­nes ont vu leur compte en banque fer­mé en 2021–2022 en lien avec la lutte anti-blanchi­ment, alors que seule­ment 1083 per­son­nes ont été con­damnées pour ce délit.

Le prob­lème, c’est que les organ­ismes de cal­culs n’ont pas d’intérêt à cor­riger ces faux posi­tifs pour les atténuer. Alors que, si ces erreurs ne sont pas un prob­lème pour les struc­tures qui les pro­duisent, elles le sont pour les indi­vidus qui voient leurs comptes clô­turés, sans rai­son et avec peu de pos­si­bil­ités de recours. Il est néces­saire pour­tant que les taux de risques détec­tés restent pro­por­tion­nels aux taux effec­tifs de con­damna­tion, afin que les niveaux de réduc­tion des risques ne soient pas portés par les indi­vidus.

Le même phénomène est à l’œuvre quand la CAF recon­naît que son algo­rithme de con­trôle de fraude pro­duit bien plus de con­trôle sur cer­taines caté­gories sociales de la pop­u­la­tion, comme le mon­trait l’en­quête du Monde et de Light­house reports et les travaux de Chang­er de Cap. Mais, pour les ban­ques, comme pour la CAF, ce surciblage, ce sur­diag­nos­tic, n’a pas d’incidence directe, au con­traire…

Pour les organ­ismes publics le taux de détec­tion automa­tisée est un objec­tif à attein­dre explique le syn­di­cat Sol­idaires Finances Publiques dans son enquête sur L’IA aux impôts, qu’importe si cet objec­tif est défail­lant pour les per­son­nes ciblées. D’où l’importance de met­tre en place un ratio d’impact sur les dif­férents groupes démo­graphiques et des taux de faux posi­tifs pour lim­iter leur explo­sion. La justesse des cal­culs doit être améliorée.

Pour cela, il est néces­saire de mieux con­trôler le taux de détec­tion des out­ils et de trou­ver les modal­ités pour que ces taux ne soient pas dis­pro­por­tion­nés. Sans cela, on le com­prend, la mal­trai­tance insti­tu­tion­nelle que dénonce ATD Quart Monde est en roue libre dans les sys­tèmes, quels qu’ils soient.

Dans les dif­fi­cultés, les recours sont ren­dus plus com­pliqués. Quand ces sys­tèmes mé-cal­cu­lent les gens, quand ils sig­na­lent leurs pro­fils comme prob­lé­ma­tiques ou quand les dossiers sont mis en traite­ment, les pos­si­bil­ités de recours sont bien sou­vent automa­tique­ment réduites. Le fait d’être soupçon­né de prob­lème ban­caire dimin­ue vos pos­si­bil­ités de recours plutôt qu’elle ne les aug­mente.

A la CAF, quand l’accusation de fraude est déclenchée, la procé­dure de recours pour les béné­fi­ci­aires devient plus com­plexe. Dans la plate­forme dématéri­al­isée pour les deman­des de titres de séjour dont le Défenseur des droits pointait les lacunes dans un rap­port sur l’ANEF, les usagers ne peu­vent pas sig­naler un change­ment de lieu de rési­dence quand une demande est en cours.

Or, c’est juste­ment quand les usagers sont con­fron­tés à des dif­fi­cultés, que la dis­cus­sion devrait être ren­due plus flu­ide, plus acces­si­ble. En réal­ité, c’est bien sou­vent l’inverse que l’on con­state. Out­re les expli­ca­tions lacu­naires des ser­vices, les pos­si­bil­ités de recours sont réduites quand elles devraient être aug­men­tées. L’alerte réduit les droits alors qu’elle devrait plutôt les ouvrir.

Enfin, l’interconnexion des sys­tèmes crée des boucles de défail­lances dont les effets s’amplifient très rapi­de­ment. Les boucles d’empêchements se mul­ti­plient sans issue. Les alertes et les faux posi­tifs se répan­dent. L’automatisation des droits con­duit à des évic­tions en cas­cade dans des sys­tèmes où les organ­ismes se ren­voient les respon­s­abil­ités sans être tou­jours capa­bles d’agir sur les sys­tèmes de cal­cul. Ces dif­fi­cultés néces­si­tent de mieux faire val­oir les droits d’opposition des cal­culés. La prise en compte d’innombrables don­nées pour pro­duire des cal­culs tou­jours plus gran­u­laires, pour atténuer les risques, pro­duit surtout des faux posi­tifs et une com­plex­ité de plus en plus prob­lé­ma­tique pour les usagers.

Responsabiliser les calculs du social

Nous avons besoin de dimin­uer les don­nées util­isées pour les cal­culs du social, explique le chercheur Arvind Narayanan, notam­ment parce que cette com­plex­ité, au pré­texte de mieux cal­culer le social, bien sou­vent, n’améliore pas les cal­culs, mais ren­force leur opac­ité et les rend moins con­testa­bles. Les cal­culs du social doivent n’utiliser que peu de don­nées, doivent rester com­préhen­si­bles, trans­par­ents, véri­fi­ables et surtout oppos­ables… Col­lecter peu de don­nées cause moins de prob­lèmes de vie privée, moins de prob­lèmes légaux comme éthiques… et moins de dis­crim­i­na­tions.

Ren­forcer le con­trôle des sys­tèmes, notam­ment mesur­er leur ratio d’impact et les taux de faux posi­tifs. Amélior­er les droits de recours des usagers, notam­ment quand ces sys­tèmes les ciblent et les désig­nent. Et surtout, amélior­er la par­tic­i­pa­tion des publics aux cal­culs, comme nous y invi­tent le récent rap­port du Défenseur des droits sur la dématéri­al­i­sa­tion et les algo­rithmes publics.

A mesure qu’ils se répan­dent, à mesure qu’ils accè­dent à de plus en plus de don­nées, les risques de défail­lances des cal­culs s’accumulent. Der­rière ces défail­lances, c’est la ques­tion même de la jus­tice qui est en cause. On ne peut pas accepter que les ban­ques fer­ment chaque année des cen­taines de mil­liers de comptes ban­caires, quand seule­ment un mil­li­er de per­son­nes sont con­damnées.

On ne peut pas accepter que la CAF déter­mine qu’il y aurait des cen­taines de mil­liers de fraudeurs, quand dans les faits, très peu sont con­damnés pour fraude. La jus­tice néces­site que les cal­culs du social soient rac­cords avec la réal­ité. Nous n’y sommes pas.

Sources

IA aux impôts : au détri­ment des per­son­nels et des usagers (HACN, 04/2025)

Ren­force­ment des sanc­tions pour les allo­cataires du RSA : ATD Quart Monde dénonce la mal­trai­tance insti­tu­tion­nelle (ATD Quart Monde, 03/2025)

Villeur­banne en jan­vi­er (autour de “Numéri­sa­tion des ser­vices publics, stop à la déshu­man­i­sa­tion !”) : les pod­casts (HACN 03/2025)

Faux posi­tifs (AFP et Algo­rithm Watch, 01/2025)

Dématéri­al­i­sa­tion des deman­des de titres de séjour via l’ANEF : des rup­tures de droits graves et mas­sives (Défenseur des droits, 12/2024)

Dématéri­alis­er l’ad­min­is­tra­tion des étrangers : out­il de la xéno­pho­bie d’é­tat (HACN, 12/2024)

Inven­taire des algo­rithmes publics : un out­il pour la trans­parence (Obser­va­toire des algo­rithmes publics [ODAP], 06/2024)

Algo­rithmes, sys­tèmes d’IA et ser­vices publics : quels droits pour les usagers ? (Défenseur des droits, 11/2024)

Com­bat pour rétablir/maintenir un accès non numérique aux ser­vices publics : vic­toire en Wal­lonie (HACN, 11/2024)

Partout en Europe, les algos pour attribuer les presta­tions sociales sont com­bat­tus (HACN, 11/2024)

Face aux dis­crim­i­na­tions dues au “scor­ing”, l’ar­ti­cle 22 du RGPD ? (HACN, 11/2024)

S’op­pos­er à la numéri­sa­tion des ser­vices publics, c’est aus­si lut­ter con­tre le RN (HACN, 06/2024)

Remet­tre l’hu­main et le droit au coeur de l’ac­tion des CAF (Chang­er de cap, 02/2024)

Pro­fi­lage et dis­crim­i­na­tions : enquête sur les dérives de l’algorithme des caiss­es d’allocations famil­iales (Le Monde et Light­house Reports, 12/2023)

Auto­mat­ic Soci­ety (Algo­rithm Watch, 02/2020)