Dangers de l’intelligence artificielle : bien plus que par ChatGPT

Tous les édi­to­crates et autres spé­cial­istes auto­proclamés s’é­tal­ent actuelle­ment avec fas­ci­na­tion sur les “per­for­mances épous­tou­flantes” et les “dan­gers” de l’outil ChapG­PT et de quelques autres util­isant l’IA. Cela ressem­ble fort à une pro­mo­tion de l’IA comme solu­tion mir­a­cle à tous les prob­lèmes.

Exem­ple car­i­cat­ur­al : l’émis­sion de 27 sur Arte du 7 mai Intel­li­gence arti­fi­cielle : révo­lu­tion ou alié­na­tion ? où étaient invité·es une sué­doise pro­mou­vant l’IA mais “respon­s­able” (le tech­nowash­ing habituel), un “con­seiller en stratégie” fan de Meta­verse et d’IA et, au milieu, Eric Sadin, philosophe apte à dénon­cer le “tour­nant anthro­pologique” mais pas les con­séquences sociales, racistes et de dis­crim­i­na­tion liées à l’usage de l’IA, pour­tant dûment doc­u­men­tées. Et l’an­i­ma­trice de con­clure que, certes l’IA pose des prob­lèmes, mais que c’est incon­tourn­able : il suf­fi­rait de quelques pré­cau­tions…

Pour­tant, l’IA s’est sub­rep­tice­ment instal­lé dans nos vies depuis le début des années 2000 (par Google, Face­book…) avec la volon­té de manip­uler nos com­porte­ments. Elle est aus­si util­isée par les Etats pour tra­quer les sup­posés fraudeurs pau­vres à la CAF, à Pôle Emploi ou à la Sécu, ou les migrants depuis nos fron­tières. Bien plus per­vers donc qu’une sim­ple fal­si­fi­ca­tion lors d’un exa­m­en…

A l’oc­ca­sion du débat sur l’IA act, règle­ment européen (1) qui vis­era à cadr­er (un peu) l’usage de l’IA, Sarah Chan­der et Aly­na Smith, mem­bres de l’EDRi (Euro­pean Dig­i­tal RIghts, ONG qui regroupe nom­bre d’or­gan­i­sa­tions tech­n­o­cri­tiques, dont La Quad­ra­ture du net), sont les autri­ces d’une con­tri­bu­tion envoyée à la chaine Euronews (quelques extraits ci-dessous, arti­cle com­plet en anglais).

A NOTER : les recherch­es et lég­is­la­tions européennes sur les migrant·es ser­vent de test pour les tech­nolo­gies de pistage qui sont ultérieure­ment éten­dues au reste de la pop­u­la­tion : lors de la répres­sion des man­i­fes­tants par exem­ple…

Le régle­ment de l’UE sur l’in­tel­li­gence arti­fi­cielle , com­muné­ment appelé IA act, est le pre­mier du genre dans le monde, même si d’autres pro­jets de régle­men­ta­tion émer­gent ailleurs.

Non seule­ment ce sera un jalon en tant que pre­mière lég­is­la­tion con­traig­nante sur l’IA dans le monde, mais c’est aus­si l’une des pre­mières lois axées sur la tech­nolo­gie à abor­der de manière sig­ni­fica­tive la façon dont les tech­nolo­gies per­pétuent le racisme struc­turel.

De l’im­pact raciale­ment dis­crim­i­na­toire des sys­tèmes de police pré­dic­tive à l’u­til­i­sa­tion de sys­tèmes d’IA pour éti­queter à tort des per­son­nes (prin­ci­pale­ment racial­isées) comme des fraudeurs lorsqu’elles récla­ment des presta­tions, cette lég­is­la­tion est pro­fondé­ment éclairée par une prise de con­science crois­sante de la façon dont la tech­nolo­gie peut per­pétuer les dom­mages.

Les lég­is­la­teurs ont pris des mesures qui inter­di­raient cer­taines util­i­sa­tions de l’IA lorsqu’elles sont “incom­pat­i­bles avec les droits fon­da­men­taux”. C’est le cas de cer­taines util­i­sa­tions de la recon­nais­sance faciale pour iden­ti­fi­er les per­son­nes dans les lieux publics et des sys­tèmes d’IA util­isés pour prédire où et par qui des crimes peu­vent se pro­duire.

L’IA comme agent de l’im­mi­gra­tion

Des détecteurs de men­songes et du “pro­fi­lage des risques” de l’IA util­isés dans une mul­ti­tude de procé­dures d’im­mi­gra­tion à la sur­veil­lance tech­nologique en pleine expan­sion aux fron­tières de l’Eu­rope, les sys­tèmes d’IA sont de plus en plus une car­ac­téris­tique de l’ap­proche de l’UE en matière de migra­tion.

L’IA est util­isée pour faire des pré­dic­tions et des éval­u­a­tions sur les per­son­nes dans leurs deman­des de migra­tion sur la base de critères opaques dif­fi­ciles à con­naître et plus dif­fi­ciles à con­tester. Il est prou­vé que les déci­sions de visa reflè­tent des antécé­dents de dis­crim­i­na­tion enrac­inés dans le colo­nial­isme.

Les sys­tèmes d’IA font égale­ment par­tie d’un appareil de sur­veil­lance général­isé en con­stante expan­sion. Cela com­prend l’IA pour la sur­veil­lance à la fron­tière et les sys­tèmes d’analyse pré­dic­tive pour prévoir les ten­dances migra­toires.

Selon le Bor­der Vio­lence Mon­i­tor­ing Net­work, nous con­sta­tons déjà des cas d’u­til­i­sa­tion de tech­nolo­gies d’in­tel­li­gence arti­fi­cielle dans des refoule­ments équiv­alant à des dis­pari­tions for­cées.

Dans ce con­texte, il existe un réel dan­ger que des prévi­sions apparem­ment inof­fen­sives sur les sché­mas migra­toires soient util­isées pour faciliter les refoule­ments, les retraits et d’autres moyens d’empêcher les per­son­nes d’ex­ercer leur droit de deman­der l’asile.

L’ethnicité et la couleur de la peau deviennent un indicateur du statut d’immigration

Pour les per­son­nes déjà en Europe, la tech­nolo­gie est exploitée par la police locale de manière à aug­menter le nom­bre de per­son­nes iden­ti­fiées comme sans papiers lors des inter­pel­la­tions poli­cières, per­pé­tu­ant ain­si le pro­fi­lage racial.

En France, en Alle­magne, aux Pays-Bas et en Suède, la police a reçu le pou­voir de relever les empreintes dig­i­tales des per­son­nes qu’elle arrête dans la rue pour véri­fi­er son statut d’im­mi­gra­tion.

Des organ­i­sa­tions locales de défense des droits de l’homme ont con­testé un pro­gramme grec équipant la police d’ap­pareils intel­li­gents pour scan­ner le vis­age des gens dans le but d’i­den­ti­fi­er les sans-papiers.

La race, l’eth­nic­ité et la couleur de la peau sont sou­vent util­isées par les autorités comme indi­ca­teur du statut d’im­mi­gra­tion.

L’u­til­i­sa­tion crois­sante de l’IA dans le con­texte de l’im­mi­gra­tion expose les per­son­nes de couleur à plus de sur­veil­lance, à une prise de déci­sion plus dis­crim­i­na­toire dans les deman­des d’im­mi­gra­tion et à un pro­fi­lage plus préju­di­cia­ble (par des logi­ciels et par des humains), exac­er­bant les ten­dances à la crim­i­nal­i­sa­tion et à la déshu­man­i­sa­tion dans la poli­tique migra­toire de l’UE.

Droits numériques pour tous – sauf les migrants

Dans la propo­si­tion de réforme Euro­dac, l’UE cherche à éten­dre mas­sive­ment les bases de don­nées de sur­veil­lance avec des don­nées sur les per­son­nes qui deman­dent l’asile ou qui sont appréhendées à la fron­tière, pour inclure des images faciales et les don­nées d’en­fants dès l’âge de 6 ans.

Ceci est totale­ment en con­tra­dic­tion avec les normes établies dans le règle­ment général sur la pro­tec­tion des don­nées de l’UE.

Cet excep­tion­nal­isme coûte des vies et ouvre la voie à l’éro­sion des pro­pres normes – et valeurs de l’UE. C’est un dou­ble stan­dard qu’il faut appel­er par son nom : le racisme.

Interdire l’IA nuisible dans la migration

Comme l’ont souligné le pro­fesseur E. Ten­dayi Achi­ume, ancien rap­por­teur des Nations Unies sur les formes con­tem­po­raines de racisme, et la forte coali­tion de la société civile #Pro­tect­Not­Sur­veil, nous avons besoin d’un engage­ment à déman­tel­er les tech­nolo­gies les plus nocives : celles util­isées dans les con­textes de migra­tion.

Le régle­ment sur l’IA doit inter­dire et empêch­er les out­ils de pro­fi­lage d’IA dis­crim­i­na­toires en vio­la­tion du droit inter­na­tion­al des réfugiés. L’u­til­i­sa­tion d’outils d’i­den­ti­fi­ca­tion bio­métrique – comme les appareils por­tat­ifs de la police – (sur lesquels la loi est actuelle­ment muette) doivent être classés comme “à haut risque” et donc inter­dits.

Le régle­ment sur l’IA ne cor­rig­era pas les poli­tiques migra­toires pro­fondé­ment défectueuses de l’Eu­rope. Mais cela peut garan­tir que les tech­nolo­gies d’IA sont régle­men­tées d’une manière qui empêche d’autres dom­mages et étab­lisse une pro­tec­tion égale pour tous plutôt que des dou­bles normes.

(1) Quelques expli­ca­tions sur les enjeux de l’IA Act, actuelle­ment en dis­cus­sion au Par­lement Européen. Ce texte est ambigu : 

- d’un côté il va ren­dre légaux des dis­posi­tifs jusque là imposés sans cadre, mais qui pou­vaient être con­testés en référence aux droits de l’homme ou à des dis­po­si­tions nationales (cas de 2 grandes actions menées en Pologne et aux Pays-Bas).

- de l’autre il met en place une clas­si­fi­ca­tion des sys­tèmes d’IA en 4 niveaux : ceux qui seront inter­dits (UNACCEPTABLE RISK) / ceux forte­ment régle­men­tés (HIGH RISK) / ceux pour lesquels on impose des règles de trans­parence (LIMITED RISK) / ceux sans aucun encadrement (MINIMAL RISK). Les indus­triels et les gou­verne­ments vont bien sûr essay­er de tir­er vers le moins régle­men­té pos­si­ble (Macron a poussé à ce que cer­tains dis­posi­tifs soient car­ré­ment con­sid­érés comme des excep­tions au titre du ter­ror­isme, des men­aces sur la san­té…). A l’in­verse, les assos de défense des droits (et des élus d’op­po­si­tion) revendiquent le classe­ment en inter­dit des dis­posi­tifs bio­métriques par exem­ple. Ain­si, pour ces assos, la récente loi française JO 2024, 1^e en Europe à autoris­er la visio­sur­veil­lance “aug­men­tée”, pour­rait être déclarée illé­gale grâce à ce nou­veau texte… 

Autres sources

Algo­rithmes, pri­vati­sa­tion et con­trôle social

Face aux migrant·es, l’UE (et la France) sys­té­ma­tisent l’IA

Débat du 8/11/2022 : Intel­li­gence Arti­fi­cielle et migrants

IA act au par­lement UE en avril : recadrage ou pro­mo­tion de l’IA partout ?