IA act : compromis entre les Etats et le parlement de l’UE

Ce texte, voulu à toutes forces par Thier­ry Bre­ton (com­mis­saire français désigné par E. Macron) doit encore être adop­té par le Par­lement européen et le Con­seil de l’U­nion européenne. Mais sans grand sus­pense (sauf encore quelques reculs ?) puisque tous les arbi­trages ont été faits. Il pour­rait n’en­tr­er en appli­ca­tion qu’en 2025.

Le Par­lement européen avait approu­vé un texte assez ambitieux (sauf pour les migrant.es, totale­ment tenu.es à l’é­cart des pro­tec­tions pro­jetées, ce qui avait amené l’ap­pel en leur faveur de 151 organ­i­sa­tions européennes).

Mais que reste-t-il des avancées : inter­dic­tion des IA util­isant la recon­nais­sance faciale en temps réel ou a pos­te­ri­ori, de celles per­me­t­tant la police pré­dic­tive, l’usage de critères por­tant sur le genre ou la race, la nota­tion automa­tisée, l’analyse com­porte­men­tale (recon­nais­sance des émo­tions)… ?

Ci-dessous point rapi­de (qu’il fau­dra clar­i­fi­er dans un deux­ième temps), et com­mu­niqué de l’EDRi (Euro­pean Dig­i­tal Rights). A la suite, nous présen­tons les grandes lignes du texte – net­te­ment plus ambitieux – voté en juin par le par­lement de l’UE.

Quelques points (d’après Médi­a­part et fran­ce­in­fo-AFP et autres) :

- l’ensemble du dis­posi­tif est basé sur des déc­la­ra­tions auprès d’un bureau européen de l’intelligence arti­fi­cielle, nou­velle struc­ture d’une cen­taine de per­son­nes chargée de l’application du texte et d’en sanc­tion­ner le non-respect (amende jusqu’à 7% du chiffre d’af­faires annuel, jusqu’à 37 mil­lions d’€). Une cer­ti­fi­ca­tion (et donc un classe­ment) sera attribué, avec des oblig­a­tions et des suiv­is spé­ci­fiques selon la caté­gorie.

- des citoyens européens pour­ront lancer des plaintes con­tre des sys­tèmes d’IA (quelles modal­ités ?). Il y aurait oblig­a­tion d’in­former des per­son­nes “quand elles sont exposées” à des sys­tèmes de recon­nais­sance des émo­tions (c’est car­ré­ment un recul : le texte du par­lement prévoy­ait l’interdiction !). 

- sys­tèmes d’IA à usage général (GPAI, nom générique don­né aux logi­ciels recourant à l’IA type Chat­G­PT) : oblig­a­tion d’une doc­u­men­ta­tion tech­nique pré­cise, de respecter les règles européennes en matière de droits d’au­teurs (cela cor­re­spond à l’approche améri­caine). Toute image, texte, son, produit·e par intel­li­gence arti­fi­cielle devra être identifié·e. De même, les usagers de quelque ser­vice que ce soit devront être infor­més pour savoir s’ils par­lent à un humain ou à une machine. Ceux présen­tant un “risque sys­témique” pour­ront faire l’objet d’évaluations pour lim­iter ces risques.

- sys­tèmes d’IA “à haut risque” : qui présen­tent un “préju­dice poten­tiel impor­tant” pour la san­té, l’éducation, la sécu­rité, les droits fon­da­men­taux, l’en­vi­ron­nement, la démoc­ra­tie et l’E­tat de droit” (en fait le main­tien de l’ordre). Par exem­ple pour les tech­nolo­gies visant à altér­er les résul­tats d’élec­tions ou à influer les déci­sions des électeurs. Une analyse d’im­pact sur les droits fon­da­men­taux sera oblig­a­toire. Elles prévoient notam­ment un con­trôle humain de la machine (pour éviter les sys­tèmes totale­ment automa­tisés comme les “robots tueurs”?), la mise en place d’une “ges­tion des risques”.

- inter­dic­tion de six types de sys­tèmes d’IA :

* caté­gori­sa­tion bio­métrique util­isant des infor­ma­tions telles que les croy­ances poli­tiques et religieuses, ou encore l’ori­en­ta­tion sex­uelle ;

* celles “util­isées pour exploiter les fragilités des per­son­nes du fait de leur âge, hand­i­cap ou sit­u­a­tion économique” ;

* celles visant à “manip­uler les com­porte­ments” ayant recours à des tech­niques sub­lim­i­nales, ou sus­cep­ti­bles d’altérer le com­porte­ment – comme par exem­ple la nota­tion sociale en fonc­tion de l’origine, du com­porte­ment ;

* par­tielle­ment, celles visant à la police pré­dic­tive sur la base de “traits ou car­ac­téris­tiques de per­son­nal­ité” (là aus­si, recul : le pro­jet de départ prévoy­ait l’interdiction totale) ;

* celles per­me­t­tant la recon­nais­sance des émo­tions, mais unique­ment sur les lieux de tra­vail et dans les étab­lisse­ments d’en­seigne­ment (donc pas celles liées à la police et aux con­trôles aux fron­tières !) ;

* la recon­nais­sance faciale est inter­dite, “en théorie” : inter­dic­tion des sys­tèmes bio­métriques à dis­tance en temps réel dans les espaces publics. Les tech­nolo­gies récupérant des images de vis­ages sur inter­net ou dans des images de vidéo­sur­veil­lance “pour créer des bases de don­nées de recon­nais­sance faciale” seraient aus­si inter­dites ;

- beau­coup d’exceptions, notam­ment obtenues par la France, pour les forces de l’or­dre : elles pour­ront avoir recours à cer­taines de ces tech­nolo­gies après “une autori­sa­tion de la jus­tice” ou sur déci­sion admin­is­tra­tive (rajout de la France, fâchée avec sa jus­tice) et pour “une liste de crimes stricte­ment défi­nis”. Notam­ment, pour la préven­tion en cas de men­aces ter­ror­istes ou d’une men­ace “spé­ci­fique, sub­stantielle et immi­nente”, pour la recherche de vic­times d’en­lève­ment, d’ex­ploita­tion sex­uelle ou de traf­ic d’êtres humains ou pour l’iden­ti­fi­ca­tion ou la local­i­sa­tion d’auteurs d’infractions pénales…

BEAUCOUP DE FLOU ET D’EXCEPTIONS QUI PEUVENT REMETTRE EN QUESTION LES QUELQUES AVANCÉES DU TEXTE VOTÉ EN JUIN AU PARLEMENT

Com­mu­niqué de l’EDRi du 9 décem­bre

Acte européen sur l’IA : accord con­clu, mais trop tôt pour le célébr­er

Le 8 décem­bre 2023, après plus de 36 heures de négo­ci­a­tions, les lég­is­la­teurs européens ont finale­ment con­clu un accord sur la loi sur l’in­tel­li­gence arti­fi­cielle. Cepen­dant, même si cer­taines pro­tec­tions des droits fon­da­men­taux ont été obtenues, la loi dans son ensem­ble n’a pas été à la hau­teur de son poten­tiel de plac­er les per­son­nes et leurs droits au pre­mier plan.

Pour savoir si ce règle­ment sur l’IA pro­tège les citoyens européens con­tre les pires excès de sur­veil­lance, de dis­crim­i­na­tion et de préju­dices liés à l’IA, cela néces­sit­era une éval­u­a­tion plus com­plète des élé­ments tech­niques qui fer­ont sur­face au cours des prochaines semaines.

“Les gou­verne­ments de l’UE ont été con­traints d’ad­met­tre que les sys­tèmes d’IA sont de plus en plus util­isés à des fins de sur­veil­lance de masse, de pro­fi­lage racial et à d’autres fins nuis­i­bles et inva­sives. Même si l’ac­cord con­tient des gains lim­ités en matière de droits de l’homme, il ne s’a­gi­ra que d’une coquille de la loi sur l’IA dont l’Eu­rope a réelle­ment besoin.” Sarah Chan­der, con­seil­lère poli­tique prin­ci­pale, Droits numériques européens

Jusqu’à présent, nous savons que l’accord comprend :

  • Inter­dic­tion de la recon­nais­sance faciale publique en direct, mais avec plusieurs excep­tions pour la recherche de cer­taines vic­times, sus­pects et pour la préven­tion des atten­tats ter­ror­istes. Même si ces con­di­tions sont plus strictes que ce que les États mem­bres de l’UE pré­con­i­saient, elles ouvrent néan­moins la voie à une util­i­sa­tion dan­gereuse, dis­crim­i­na­toire et de sur­veil­lance de masse de ces sys­tèmes ;
  • Une lim­i­ta­tion de la recon­nais­sance faciale publique post (rétro­spec­tive) à la recherche de sus­pects de crimes graves unique­ment, bien que le seuil de ce qui con­stitue un crime “grave” soit actuelle­ment indéter­miné ;
  • Une inter­dic­tion par­tielle de la police pré­dic­tive, y com­pris les pré­dic­tions quant à la prob­a­bil­ité de com­met­tre une infrac­tion pénale sur la base de “traits ou car­ac­téris­tiques de per­son­nal­ité”, mais pas la majorité des sys­tèmes de police pré­dic­tive ;
  • Une inter­dic­tion totale des sys­tèmes de recon­nais­sance des émo­tions, mais unique­ment sur les lieux de tra­vail et dans les étab­lisse­ments d’en­seigne­ment. Cela omet illogique­ment les util­i­sa­tions les plus néfastes de toutes : celles dans les con­textes policiers et frontal­iers et migra­toires ;
  • Une pré­ten­due inter­dic­tion des sys­tèmes de caté­gori­sa­tion bio­métrique, même si l’on ne sait tou­jours pas claire­ment si cette inter­dic­tion sera sig­ni­fica­tive ou non ;
  • Garanties lim­itées basées sur les droits, y com­pris une éval­u­a­tion d’im­pact oblig­a­toire sur les droits fon­da­men­taux et un cer­tain niveau de trans­parence publique quant aux sys­tèmes d’IA à haut risque déployés en Europe ;
  • Des failles très impor­tantes dans le niveau glob­al de pro­tec­tion, y com­pris un large pou­voir dis­cré­tion­naire lais­sé aux développeurs d’IA pour décider que leurs sys­tèmes ne sont pas “à haut risque”, ain­si que divers­es exemp­tions aux règles. lorsque les autorités chargées de l’ap­pli­ca­tion des lois, des migra­tions et de la sécu­rité nationale déploient une IA “à haut risque”. Il s’ag­it d’une perte majeure pour la sur­veil­lance publique des sys­tèmes d’IA les plus préoc­cu­pants.

“Il est dif­fi­cile d’être ent­hou­si­as­mé par une loi qui, pour la pre­mière fois dans l’UE, a pris des mesures pour légalis­er la recon­nais­sance faciale publique en direct. Alors que le Par­lement s’est bat­tu avec acharne­ment pour lim­iter les dégâts, le paquet glob­al sur la sur­veil­lance bio­métrique et le pro­fi­lage est pour le moins tiède. Notre lutte con­tre la sur­veil­lance bio­métrique de masse va se pour­suiv­re.” Ella Jakubows­ka, con­seil­lère poli­tique prin­ci­pale, droits numériques européens

Pro­jet de texte voté par le Par­lement de l’UE le 14 juin (499 voix pour, 28 con­tre et 93 absten­tions)

Ci-dessous état du texte après le vote au par­lement (analyse des juristes de l’EDRI, en anglais).

Déf­i­ni­tion de l’IA (c’est celle de l’OCDE qui a été retenue sous la pres­sion des groupes con­ser­va­teurs) : “un sys­tème d’intelligence arti­fi­cielle est un sys­tème automa­tisé qui, pour un ensem­ble don­né d’objectifs défi­nis par l’homme, est en mesure d’établir des prévi­sions, de for­muler des recom­man­da­tions, ou de pren­dre des déci­sions influ­ant sur des envi­ron­nements réels ou virtuels.” Ce type de déf­i­ni­tion est impor­tant car il cadre le champ d’ap­pli­ca­tion du texte.

Systèmes interdits (UNACCEPTABLE RISK)

D’après le pro­jet de départ (d’avril 2021) :

  • Les sys­tèmes étab­lis­sant une “note sociale”, qui clas­si­fient les per­son­nes selon leur fia­bil­ité, par exem­ple, et peu­vent con­duire à “un traite­ment préju­di­cia­ble ou défa­vor­able” ;
  • Les sys­tèmes d’identification bio­métrique à dis­tance et en temps réel “dans des espaces acces­si­bles au pub­lic à des fins répres­sives”, y com­pris par les autorités ;
  • Les sys­tèmes qui visent à manip­uler par des tech­niques sub­lim­i­nales agis­sant sur l’inconscient ;
  • Les sys­tèmes ciblant les per­son­nes vul­nérables comme les enfants ou les per­son­nes hand­i­capées.

Suite aux votes : est con­fir­mée l’inter­dic­tion de “l’i­den­ti­fi­ca­tion bio­métrique à dis­tance”, c’est-à-dire de la sur­veil­lance des citoyens dans les lieux publics avec la recon­nais­sance faciale et autres sys­tèmes d’IA (déci­sion très impor­tante qui devrait per­me­t­tre de revenir sur au moins une par­tie du texte français sur les JO 2024, précé­dent européen dénon­cé par l’EDRI).

Autre vote : l’inter­dic­tion de la caté­gori­sa­tion bio­métrique et de la recon­nais­sance des émo­tions. De tels sys­tèmes sont util­isés en Chine pour réprimer les Ouïghours et en Iran pour con­trôler le code ves­ti­men­taire de la brigade des mœurs.

Par ailleurs, le texte prévoit aus­si d’inter­dire les “sys­tèmes de police pré­dic­tive”, lesquels avaient fait l’ob­jet d’un appel spé­ci­fique de l’EDRI, signé par quar­ante organ­i­sa­tions de défense des droits humains.

En revanche, l’EDRI dénonce le fait que les droits des migrants ne seront pas pro­tégés con­tre une sur­veil­lance dis­crim­i­na­toire car ne sont pas inclus dans la liste des pra­tiques inter­dites l’usage de l’IA pour faciliter les refoule­ments illé­gaux, ou pour pro­fil­er des per­son­nes de manière dis­crim­i­na­toire (protes­ta­tion portée par 195 organ­i­sa­tions européennes).

“Le Par­lement envoie un mes­sage d’im­por­tance mon­di­ale aux gou­verne­ments et aux développeurs d’IA avec sa liste d’in­ter­dic­tions, se rangeant du côté des deman­des de la société civile selon lesquelles cer­taines util­i­sa­tions de l’IA sont tout sim­ple­ment trop nocives pour être autorisées. Mal­heureuse­ment, le sou­tien du Par­lement européen aux droits des per­son­nes s’ar­rête avant de pro­téger les migrants con­tre les méfaits de l’IA.” Sarah Chan­der, con­seil­lère poli­tique EDRi

Systèmes fortement réglementés (HIGH RISK)

Ayant une “inci­dence préju­di­cia­ble sig­ni­fica­tive sur la san­té, la sécu­rité et les droits fon­da­men­taux des citoyens”, comme les machines médi­cales, les sys­tèmes de recon­nais­sance faciale ou les voitures autonomes…

Ces IA (util­isées dans l’éducation, dans le domaine de l’emploi, de la san­té ou encore des migra­tions), clas­si­fiées comme très risquées, seront autorisées sous réserve de con­trôles effec­tués par des agences nationales (la CNIL en France ?).

L’ar­bi­trage de la CNIL, on l’a vu dans l’ac­tu­al­ité récente, n’est pas une très forte garantie…

Par ailleurs, les obser­va­tri­ces de l’EDRI s’in­quiè­tent du change­ment de déf­i­ni­tion de “risque élevé” qui offre un échap­pa­toire aux développeurs d’IA, les inci­tant à “sous-class­er” leurs appli­ca­tions pour échap­per aux exi­gences lég­isla­tives au détri­ment des droits des per­son­nes.

“Mal­heureuse­ment, le Par­lement pro­pose des change­ments très inquié­tants con­cer­nant ce qui est con­sid­éré comme une IA “à haut risque”. Avec les mod­i­fi­ca­tions apportées au texte, les développeurs pour­ront décider si leur sys­tème est suff­isam­ment “sig­ni­fi­catif” pour être con­sid­éré comme à haut risque, un dra­peau rouge majeur pour l’ap­pli­ca­tion de cette lég­is­la­tion”. Sarah Chan­der, con­seil­lère poli­tique EDRi

Amnesty Inter­na­tion­al (mem­bre de la coali­tion Pro­tect Not Sur­veil (pro­téger, pas sur­veiller), dénonçe le régime spé­cial prévu par le règle­ment vis-à-vis des migrant·es, objet d’une clas­si­fi­ca­tion “à haut risque” mais non “à risque inac­cept­able” comme pour le reste de la pop­u­la­tion. “C’est un deux poids et deux mesures intolérable, dénonce . Des per­son­nes vul­nérables vont rester sous la men­ace des dan­gers liés à l’IA”. Katia Roux, chargée de plaidoy­ers, Amnesty Inter­na­tion­al

Sys­tèmes présen­tant des “risques spé­ci­fiques de manip­u­la­tion” (LIMITED RISK)

Sys­tèmes qui intéragis­sent avec des humains et sont util­isés pour analyser des émo­tions ou iden­ti­fi­er des caté­gories sociales grâce à des don­nées bio­métriques, ou génèrent des con­tenus tels que des “trucages vidéo ultra-réal­istes”.

Ils devront être assor­tis d’oblig­a­tions de trans­parence spé­ci­fiques, en l’occurrence, un aver­tisse­ment sur le fait que leur con­tenu est “généré par des moyens automa­tisés” »”.

C’est par exem­ple le cas du logi­ciel Mid­jour­ney qui génère de fauss­es images d’actualité, lesquelles avaient été pris­es à tort par cer­tains inter­nautes pour de vrais clichés. Cela con­cern­erait aus­si Chat­G­PT.

Ce type d’aver­tisse­ment pro­tège-t-il vrai­ment, ou sera-t-il détourné comme pub de pro­mo pour les IA grand pub­lic ?

Systèmes autorisés sans réserve (MINIMAL RISK)

Tous les autres types d’IA ne néces­siteront pas d’évaluation ou de mesures par­ti­c­ulières. C’est le cas, par exem­ple, des objets con­nec­tés recourant à l’IA. Ces sys­tèmes devront sim­ple­ment respecter les droits fon­da­men­taux et la loi européenne, et en par­ti­c­uli­er le Règle­ment général sur la pro­tec­tion des don­nées (RGPD).

Règles spé­ci­fiques sur les IA généra­tives (Chat­G­PT…)

Par­mi les amende­ments ajoutés au texte une dis­po­si­tion impose que toutes les IA généra­tives comme Chat­G­PT, Mid­jour­ney… divulguent quels con­tenus pro­tégés par des droits d’auteurs elles ont util­isés pour entraîn­er leur mod­èle de lan­gage (copy­right du matériel d’entraînement).

Les mod­èles d’IA généra­tives devront aus­si être testés pour atténuer les risques prévis­i­bles con­cer­nant la san­té, la sécu­rité, les droits fon­da­men­taux, l’environnement, la démoc­ra­tie et la loi, en impli­quant des experts indépen­dants, rap­porte Computerworld.com. Les dan­gers non évita­bles devront être décrits dans une doc­u­men­ta­tion pré­cise.

Sources

IA act au par­lement UE en avril : recadrage ou pro­mo­tion de l’IA partout ?

Dan­gers de l’in­tel­li­gence arti­fi­cielle : bien plus que par Chat­G­PT

IA act : L’UE doit respecter les droits humains des migrant·es

Un pre­mier pas vers un encadrement européen de la sur­veil­lance bio­métrique

Le Par­lement européen demande l’in­ter­dic­tion de la recon­nais­sance faciale publique, mais laisse des lacunes en matière de droits de l’homme dans sa posi­tion finale sur la loi sur l’IA (en anglais)