Le projet de règlement européen sur l’Intelligence Artificielle menace nos droits fondamentaux

L’ “Intel­li­gence arti­fi­cielle” recou­vre l’ensem­ble des sys­tèmes automa­tisés qui pré­ten­dent être capa­bles de simuler l’in­tel­li­gence humaine. Une cri­tique sci­en­tifique de cette pré­ten­tion s’est dévelop­pée depuis son orig­ine (notam­ment résumée ici, qui rap­pelle la fuite en avant débridée des indus­triels et des Etats dans ces tech­nolo­gies, sur fond de con­cur­rence mon­di­al­isée).

Ces tech­nolo­gies sont de fait très peu régle­men­tées. Si, en France, la Com­mis­sion Nationale Infor­ma­tique et Lib­ertés (CNIL) essaie d’éla­bor­er une doc­trine (voir dossier), cela ne se traduit pas par des règles con­traig­nantes ni par des con­trôles.

D’où l’im­por­tance du tra­vail mené au niveau européen. La Com­mis­sion européenne a pro­posé en avril 2021 une pre­mière ver­sion d’un règle­ment (1) con­cer­nant les appli­ca­tions de l’in­tel­li­gence arti­fi­cielle.

Cent vingt trois organ­i­sa­tions ont élaboré, d’abord en novem­bre 2021, puis actu­al­isé en avril 2022 en fonc­tion des amende­ments par­lemen­taires apportés au texte, un appel pour obtenir des révi­sions majeures car, pour elles, ce pro­jet est loin de pro­téger les droits fon­da­men­taux con­tre les méfaits de l’IA.

La posi­tion de l’actuel gou­verne­ment français (qui occupe la prési­dence du Con­seil de l’UE jusqu’au 30 juin 2022 selon la logique tour­nante en vigueur) est symp­to­ma­tique de sa pra­tique nationale : aller le plus vite pos­si­ble, notam­ment sur l’aspect répres­sif, alors que cer­tains pays (notam­ment Alle­magne et Fin­lande) demandaient même de sépar­er ces dis­po­si­tions répres­sives du reste du texte.

Le texte a ain­si été dur­ci sur cer­tains points : élar­gisse­ment du droit d’ex­cep­tion pour l’emploi de la recon­nais­sance bio­métrique (notam­ment pour la local­i­sa­tion d’un sus­pect à toute infrac­tion pénale pou­vant entraîn­er une péri­ode de déten­tion d’au moins cinq ans), à la sécu­rité des infra­struc­tures physiques, pour la recon­nais­sance faciale lorsque les forces de police sont autorisées à effectuer des con­trôles d’identité.

L’ap­pel des organ­i­sa­tions de défense des droits (coor­don­nées par l’EDRI, Euro­pean Dig­i­tal Rights, asso­ci­a­tion dont est adhérente La Quad­ra­ture du Net) pose neuf exi­gences :

1. Dévelop­per une approche cohérente, flex­i­ble et à l’épreuve du temps du “risque” des sys­tèmes d’IA. En effet, le rythme rapi­de de leur développe­ment néces­site des change­ments fréquents dans la lég­is­la­tion pour s’adapter aux util­i­sa­tions imprévues de l’IA. Cela néces­site d’amélior­er la par­tic­i­pa­tion des par­ties prenantes, y com­pris de la société civile, au proces­sus de con­sul­ta­tion entourant ces mis­es à jour. Le pro­jet amendé fixe l’oblig­a­tion pour la Com­mis­sion d’é­val­u­a­tions annuelles, voir plus fréquentes, et l’ex­ten­sion de la liste des sys­tèmes dits “à haut risque”, notam­ment ceux qui inter­agis­sent avec les enfants, qui pren­nent des déci­sions en matière d’as­sur­ance mal­adie ou d’as­sur­ance vie, ceux liés au vote et aux cam­pagnes élec­torales… Reste à amélior­er le dis­posi­tif de mise à jour de la liste des pra­tiques inter­dites, notam­ment sur le développe­ment des sys­tèmes d’i­den­ti­fi­ca­tion bio­métriques, ain­si que ceux util­isés dans la ges­tion des migra­tions, tels que l’analyse pré­dic­tive, pour le suivi et la sur­veil­lance dans le con­trôle des fron­tières…

2. Inter­dic­tion des sys­tèmes d’IA présen­tant un risque inac­cept­able pour les droits fon­da­men­taux. Il s’ag­it içi des sys­tèmes dont il est prou­vé qu’ils présen­tent un risque inac­cept­able de vio­la­tion des droits fon­da­men­taux. Notam­ment, cela con­cerne la “police pré­dic­tive”, c’est-à-dire l’u­til­i­sa­tion de sys­tèmes d’IA par les autorités chargées de l’ap­pli­ca­tion de la loi et de la jus­tice pénale pour faire des pré­dic­tions, des pro­fils ou des éval­u­a­tions des risques dans le but de prévoir les crimes. Le texte amendé vise à empêch­er l’u­til­i­sa­tion de sys­tèmes qui ciblent les indi­vidus, sapant la pré­somp­tion d’in­no­cence et ren­forçant le pro­fi­lage racial. Mais il n’in­clut pas les sys­tèmes de police pré­dic­tive “basés sur le lieu” (qui peu­vent prédire si des crimes sont “sus­cep­ti­bles d’être com­mis dans cer­tains quartiers”). Or cela peut ren­forcer les pra­tiques poli­cières dis­crim­i­na­toires envers cer­taines com­mu­nautés racial­isées et ouvrières, et remet en cause la pré­somp­tion d’in­no­cence sur une base col­lec­tive. La loi sur l’IA doit inter­dire davan­tage la recon­nais­sance des émo­tions, ain­si que les sys­tèmes bio­métriques util­isés pour suiv­re, caté­goris­er et/ou juger les per­son­nes dans les espaces acces­si­bles au pub­lic, et ceux qui utilisent des don­nées cor­porelles pour faire des déduc­tions sur la per­son­nal­ité, le car­ac­tère, les croy­ances poli­tiques et religieuses. L’u­til­i­sa­tion de l’i­den­ti­fi­ca­tion bio­métrique à dis­tance devrait être inter­dite totale­ment (en temps réel comme a pos­te­ri­ori) pour tous les acteurs (publics et privés) dans les espaces acces­si­bles au pub­lic. Afin de garan­tir la pro­tec­tion des migrants et des per­son­nes en déplace­ment, des inter­dic­tions doivent être ajoutées, notam­ment sur les sys­tèmes d’é­val­u­a­tion des risques et de pro­fi­lage indi­vidu­els basés sur l’IA, ain­si que sur les sys­tèmes d’analyse pré­dic­tive util­isés pour inter­dire, restrein­dre et empêch­er la migra­tion.

3. Ren­forcer la respon­s­abil­ité des four­nisseurs et des util­isa­teurs de sys­tèmes basés sur l’IA. Le texte amendé pré­cise désor­mais que les autorités publiques qui utilisent des sys­tèmes à haut risque doivent s’en­reg­istrent dans une base de don­nées publique. De même, il est créé une oblig­a­tion pour tous les util­isa­teurs de sys­tèmes à haut risque d’in­former les per­son­nes con­cernées si ces sys­tèmes pren­nent ou aident à pren­dre des déci­sions les con­cer­nant. Mais ces dis­po­si­tions omet­tent l’oblig­a­tion d’é­val­u­a­tion d’im­pact sur les droits fon­da­men­taux avant le déploiement, sur la manière dont ces sys­tèmes affecteront les per­son­nes et la société, et com­ment les util­isa­teurs enten­dent atténuer ces préju­dices.

4. Une trans­parence publique cohérente et sig­ni­fica­tive. Une base de don­nées publique con­tiendrait des infor­ma­tions sur les sys­tèmes à haut risque enreg­istrés par leurs four­nisseurs, éten­due par amende­ment aux autorités publiques util­isatri­ces. Cela per­me­t­trait la mise en place d’un con­trôle pub­lic sur l’u­til­i­sa­tion de l’IA. Cepen­dant, le pro­jet ne prévoit pas d’oblig­a­tion pour les entités privées d’en­reg­istr­er leur util­i­sa­tion d’un sys­tème d’IA à haut risque, par exem­ple pour le marché du tra­vail.

5. Des droits et des recours sig­ni­fi­cat­ifs pour les per­son­nes touchées par les sys­tèmes d’IA. Ce pro­jet de loi sur l’IA manque d’outils per­me­t­tant aux per­son­nes touchées par les sys­tèmes d’IA de con­tester les util­i­sa­tions nuis­i­bles ou dis­crim­i­na­toires. Des amende­ments visent à garan­tir que les per­son­nes puis­sent se plain­dre auprès des autorités nationales et deman­der un recours si leur san­té, leur sécu­rité ou leurs droits fon­da­men­taux ont été vio­lés. Par ailleurs, il y a l’in­tro­duc­tion d’une oblig­a­tion pour les util­isa­teurs de sys­tèmes d’IA à haut risque d’in­former les per­son­nes con­cernées, lim­itée à une sim­ple noti­fi­ca­tion de l’u­til­i­sa­tion d’un sys­tème d’IA. Mais, au min­i­mum, les per­son­nes con­cernées devraient être en mesure de con­naître l’ob­jec­tif du sys­tème d’IA et les droits dont elles dis­posent (par exem­ple, le droit de se plain­dre). Par exem­ple, les Pays-Bas ont imposé l’oblig­a­tion d’in­for­ma­tions sur le fonc­tion­nement et la logique du sys­tème d’IA. Cela devrait aus­si con­cern­er les sys­tèmes qui affectent les per­son­nes mais n’ont pas été classés comme étant à haut risque (par exem­ple, les sys­tèmes qui per­son­nalisent les prix ou les ser­vices). Devrait aus­si être imposé le droit à l’ex­pli­ca­tion des déci­sions indi­vidu­elles pour per­me­t­tre la con­tes­ta­tion de résul­tats dis­crim­i­na­toires ou préju­di­cia­bles. Même si un tel droit doit être inter­prété à par­tir de l’ar­ti­cle 22 du règle­ment général sur la pro­tec­tion des don­nées (RGPD), il pour­rait ne s’ap­pli­quer qu’aux déci­sions pris­es par les sys­tèmes d’IA sans aucune inter­ven­tion humaine. Par ailleurs, il manque la pos­si­bil­ité pour les organ­i­sa­tions d’in­térêt pub­lic de déclencher une enquête en cas de vio­la­tions des droits fon­da­men­taux.

6. Acces­si­bil­ité tout au long du cycle de vie de l’IA. La loi sur l’IA doit inclure une oblig­a­tion d’ac­ces­si­bil­ité con­for­mé­ment à la loi européenne (direc­tive 2019/882), garantie pour tous les sys­tèmes d’IA et tout au long de leur déploiement. Cela con­cerne les claus­es d’in­for­ma­tion et de trans­parence du règle­ment, la base de don­nées de l’UE, les droits des per­son­nes physiques à être noti­fiées et à deman­der des expli­ca­tions, et pour toute oblig­a­tion future con­cer­nant les éval­u­a­tions d’im­pact sur les droits fon­da­men­taux. Enfin, l’ac­ces­si­bil­ité devrait être garantie dans toutes les con­sul­ta­tions et la par­tic­i­pa­tion des tit­u­laires de droits et des organ­i­sa­tions de la société civile lors de la mise en œuvre de ce règle­ment.

7. Dura­bil­ité et pro­tec­tion de l’en­vi­ron­nement lors du développe­ment et de l’u­til­i­sa­tion des sys­tèmes d’IA. Aucune oblig­a­tion n’est imposée aux four­nisseurs et/ou aux util­isa­teurs d’in­clure des infor­ma­tions con­cer­nant l’im­pact envi­ron­nemen­tal du développe­ment ou du déploiement des sys­tèmes d’IA. Par­ti­c­ulière­ment devraient être imposées des exi­gences de trans­parence à l’é­gard du pub­lic con­cer­nant la con­som­ma­tion de ressources et l’im­pact des sys­tèmes d’IA sur les émis­sions de gaz à effet de serre.

8. Des normes améliorées et à l’épreuve du temps pour les sys­tèmes d’IA. Parce que les organ­i­sa­tions de nor­mal­i­sa­tion sont le plus sou­vent des organ­ismes privés opaques large­ment dom­inés par les acteurs de l’in­dus­trie, les sig­nataires exi­gent que les autorités chargées de la pro­tec­tion des don­nées, les organ­i­sa­tions de la société civile, les PME et les par­ties prenantes envi­ron­nemen­tales, sociales et des con­som­ma­teurs soient représen­tées et aient la pos­si­bil­ité de par­ticiper effec­tive­ment aux proces­sus de nor­mal­i­sa­tion et de déf­i­ni­tion des spé­ci­fi­ca­tions de l’IA. La loi doit fix­er explicite­ment des règles sur les aspects de la loi qui fer­ont l’ob­jet d’une nor­mal­i­sa­tion. Les droits fon­da­men­taux ne doivent pas être soumis à la nor­mal­i­sa­tion. La sur­veil­lance des ques­tions non tech­niques doit rester du ressort du proces­sus lég­is­latif et des autorités com­pé­tentes.

9. Une IA vrai­ment com­plète qui fonc­tionne pour tout le monde. Par amende­ment, le rôle et l’indépen­dance du Con­seil de l’UE sur l’in­tel­li­gence arti­fi­cielle a été ren­for­cé, en amélio­rant la par­tic­i­pa­tion des par­ties prenantes. Des oblig­a­tions de rap­port pour les autorités de sur­veil­lance nationales sur les util­i­sa­tions de sys­tèmes d’IA inter­dits, ain­si que sur les abus, ont été ajoutées. Mais les sys­tèmes d’IA ne sont tou­jours pas con­sid­érés comme des “bases de don­nées infor­ma­tiques européennes à grande échelle”, ce qui les dis­pensent d’échap­per à la sur­veil­lance. Notam­ment cela va touch­er les per­son­nes migrantes.

(1) il existe deux types de textes lég­is­lat­ifs au niveau de l’UE

• les direc­tives qui doivent, pour être appliquées au niveau nation­al, être inté­grées dans une loi de l’E­tat con­cerné
• les règle­ments, qui s’ap­pliquent tels quels dans la lég­is­la­tion de cha­cun des 27 pays com­posant l’UE.