Le projet de règlement européen sur l'Intelligence Artificielle menace nos droits fondamentaux

L' "Intelligence artificielle" recouvre l'ensemble des systèmes automatisés qui prétendent être capables de simuler l'intelligence humaine. Une critique scientifique de cette prétention s'est développée depuis son origine (notamment résumée ici, qui rappelle la fuite en avant débridée des industriels et des Etats dans ces technologies, sur fond de concurrence mondialisée).

Ces technologies sont de fait très peu réglementées. Si, en France, la Commission Nationale Informatique et Libertés (CNIL) essaie d'élaborer une doctrine (voir dossier), cela ne se traduit pas par des règles contraignantes ni par des contrôles.

D'où l'importance du travail mené au niveau européen. La Commission européenne a proposé en avril 2021 une première version d'un règlement (1) concernant les applications de l'intelligence artificielle.

Cent vingt trois organisations ont élaboré, d'abord en novembre 2021, puis actualisé en avril 2022 en fonction des amendements parlementaires apportés au texte, un appel pour obtenir des révisions majeures car, pour elles, ce projet est loin de protéger les droits fondamentaux contre les méfaits de l'IA.

La position de l'actuel gouvernement français (qui occupe la présidence du Conseil de l'UE jusqu'au 30 juin 2022 selon la logique tournante en vigueur) est symptomatique de sa pratique nationale : aller le plus vite possible, notamment sur l’aspect répressif, alors que certains pays (notamment Allemagne et Finlande) demandaient même de séparer ces dispositions répressives du reste du texte.

Le texte a ainsi été durci sur certains points : élargissement du droit d'exception pour l'emploi de la reconnaissance biométrique (notamment pour la localisation d’un suspect à toute infraction pénale pouvant entraîner une période de détention d’au moins cinq ans), à la sécurité des infrastructures physiques, pour la reconnaissance faciale lorsque les forces de police sont autorisées à effectuer des contrôles d’identité.

L'appel des organisations de défense des droits (coordonnées par l'EDRI, European Digital Rights, association dont est adhérente La Quadrature du Net) pose neuf exigences :

1. Développer une approche cohérente, flexible et à l'épreuve du temps du "risque" des systèmes d'IA. En effet, le rythme rapide de leur développement nécessite des changements fréquents dans la législation pour s'adapter aux utilisations imprévues de l'IA. Cela nécessite d'améliorer la participation des parties prenantes, y compris de la société civile, au processus de consultation entourant ces mises à jour. Le projet amendé fixe l'obligation pour la Commission d'évaluations annuelles, voir plus fréquentes, et l'extension de la liste des systèmes dits "à haut risque", notamment ceux qui interagissent avec les enfants, qui prennent des décisions en matière d'assurance maladie ou d'assurance vie, ceux liés au vote et aux campagnes électorales... Reste à améliorer le dispositif de mise à jour de la liste des pratiques interdites, notamment sur le développement des systèmes d'identification biométriques, ainsi que ceux utilisés dans la gestion des migrations, tels que l'analyse prédictive, pour le suivi et la surveillance dans le contrôle des frontières...

2. Interdiction des systèmes d'IA présentant un risque inacceptable pour les droits fondamentaux. Il s'agit içi des systèmes dont il est prouvé qu'ils présentent un risque inacceptable de violation des droits fondamentaux. Notamment, cela concerne la "police prédictive", c'est-à-dire l'utilisation de systèmes d'IA par les autorités chargées de l'application de la loi et de la justice pénale pour faire des prédictions, des profils ou des évaluations des risques dans le but de prévoir les crimes. Le texte amendé vise à empêcher l'utilisation de systèmes qui ciblent les individus, sapant la présomption d'innocence et renforçant le profilage racial. Mais il n'inclut pas les systèmes de police prédictive "basés sur le lieu" (qui peuvent prédire si des crimes sont "susceptibles d'être commis dans certains quartiers"). Or cela peut renforcer les pratiques policières discriminatoires envers certaines communautés racialisées et ouvrières, et remet en cause la présomption d'innocence sur une base collective. La loi sur l'IA doit interdire davantage la reconnaissance des émotions, ainsi que les systèmes biométriques utilisés pour suivre, catégoriser et/ou juger les personnes dans les espaces accessibles au public, et ceux qui utilisent des données corporelles pour faire des déductions sur la personnalité, le caractère, les croyances politiques et religieuses. L'utilisation de l'identification biométrique à distance devrait être interdite totalement (en temps réel comme a posteriori) pour tous les acteurs (publics et privés) dans les espaces accessibles au public. Afin de garantir la protection des migrants et des personnes en déplacement, des interdictions doivent être ajoutées, notamment sur les systèmes d'évaluation des risques et de profilage individuels basés sur l'IA, ainsi que sur les systèmes d'analyse prédictive utilisés pour interdire, restreindre et empêcher la migration.

3. Renforcer la responsabilité des fournisseurs et des utilisateurs de systèmes basés sur l'IA. Le texte amendé précise désormais que les autorités publiques qui utilisent des systèmes à haut risque doivent s'enregistrent dans une base de données publique. De même, il est créé une obligation pour tous les utilisateurs de systèmes à haut risque d'informer les personnes concernées si ces systèmes prennent ou aident à prendre des décisions les concernant. Mais ces dispositions omettent l'obligation d'évaluation d'impact sur les droits fondamentaux avant le déploiement, sur la manière dont ces systèmes affecteront les personnes et la société, et comment les utilisateurs entendent atténuer ces préjudices.

4. Une transparence publique cohérente et significative. Une base de données publique contiendrait des informations sur les systèmes à haut risque enregistrés par leurs fournisseurs, étendue par amendement aux autorités publiques utilisatrices. Cela permettrait la mise en place d'un contrôle public sur l'utilisation de l'IA. Cependant, le projet ne prévoit pas d'obligation pour les entités privées d'enregistrer leur utilisation d'un système d'IA à haut risque, par exemple pour le marché du travail.

5. Des droits et des recours significatifs pour les personnes touchées par les systèmes d'IA. Ce projet de loi sur l'IA manque d'outils permettant aux personnes touchées par les systèmes d'IA de contester les utilisations nuisibles ou discriminatoires. Des amendements visent à garantir que les personnes puissent se plaindre auprès des autorités nationales et demander un recours si leur santé, leur sécurité ou leurs droits fondamentaux ont été violés. Par ailleurs, il y a l'introduction d'une obligation pour les utilisateurs de systèmes d'IA à haut risque d'informer les personnes concernées, limitée à une simple notification de l'utilisation d'un système d'IA. Mais, au minimum, les personnes concernées devraient être en mesure de connaître l'objectif du système d'IA et les droits dont elles disposent (par exemple, le droit de se plaindre). Par exemple, les Pays-Bas ont imposé l'obligation d'informations sur le fonctionnement et la logique du système d'IA. Cela devrait aussi concerner les systèmes qui affectent les personnes mais n'ont pas été classés comme étant à haut risque (par exemple, les systèmes qui personnalisent les prix ou les services). Devrait aussi être imposé le droit à l'explication des décisions individuelles pour permettre la contestation de résultats discriminatoires ou préjudiciables. Même si un tel droit doit être interprété à partir de l'article 22 du règlement général sur la protection des données (RGPD), il pourrait ne s'appliquer qu'aux décisions prises par les systèmes d'IA sans aucune intervention humaine. Par ailleurs, il manque la possibilité pour les organisations d'intérêt public de déclencher une enquête en cas de violations des droits fondamentaux.

6. Accessibilité tout au long du cycle de vie de l'IA. La loi sur l'IA doit inclure une obligation d'accessibilité conformément à la loi européenne (directive 2019/882), garantie pour tous les systèmes d'IA et tout au long de leur déploiement. Cela concerne les clauses d'information et de transparence du règlement, la base de données de l'UE, les droits des personnes physiques à être notifiées et à demander des explications, et pour toute obligation future concernant les évaluations d'impact sur les droits fondamentaux. Enfin, l'accessibilité devrait être garantie dans toutes les consultations et la participation des titulaires de droits et des organisations de la société civile lors de la mise en œuvre de ce règlement.

7. Durabilité et protection de l'environnement lors du développement et de l'utilisation des systèmes d'IA. Aucune obligation n'est imposée aux fournisseurs et/ou aux utilisateurs d'inclure des informations concernant l'impact environnemental du développement ou du déploiement des systèmes d'IA. Particulièrement devraient être imposées des exigences de transparence à l'égard du public concernant la consommation de ressources et l'impact des systèmes d'IA sur les émissions de gaz à effet de serre.

8. Des normes améliorées et à l'épreuve du temps pour les systèmes d'IA. Parce que les organisations de normalisation sont le plus souvent des organismes privés opaques largement dominés par les acteurs de l'industrie, les signataires exigent que les autorités chargées de la protection des données, les organisations de la société civile, les PME et les parties prenantes environnementales, sociales et des consommateurs soient représentées et aient la possibilité de participer effectivement aux processus de normalisation et de définition des spécifications de l'IA. La loi doit fixer explicitement des règles sur les aspects de la loi qui feront l'objet d'une normalisation. Les droits fondamentaux ne doivent pas être soumis à la normalisation. La surveillance des questions non techniques doit rester du ressort du processus législatif et des autorités compétentes.

9. Une IA vraiment complète qui fonctionne pour tout le monde. Par amendement, le rôle et l'indépendance du Conseil de l'UE sur l'intelligence artificielle a été renforcé, en améliorant la participation des parties prenantes. Des obligations de rapport pour les autorités de surveillance nationales sur les utilisations de systèmes d'IA interdits, ainsi que sur les abus, ont été ajoutées. Mais les systèmes d'IA ne sont toujours pas considérés comme des "bases de données informatiques européennes à grande échelle", ce qui les dispensent d'échapper à la surveillance. Notamment cela va toucher les personnes migrantes.

(1) il existe deux types de textes législatifs au niveau de l'UE

• les directives qui doivent, pour être appliquées au niveau national, être intégrées dans une loi de l'Etat concerné
• les règlements, qui s'appliquent tels quels dans la législation de chacun des 27 pays composant l'UE.

IA-et-ondes-V4