Les jeux sont faits, la toute première réglementation sur l’intelligence artificielle a été adoptée le mercredi 13 mars par les députés européens. Les 27 pays de l’Union européenne se sont mis d’accord pour réguler l’intelligence artificielle sur la base de la proposition négociée entre la Commission et le Parlement européen en décembre 2023.
Malheureusement, comme le redoutait La coalition européenne Reclaim Your Face, ce règlement se révèle être une macarade qui n’interdira pas du tout la surveillance biométrique de masse.
Au contraire, elle définit, pour la première fois dans l’UE, des conditions d’utilisation licites de ces systèmes, en les classant en trois catégories selon leur supposé niveau de risque (« limités», « à haut risques » et « interdits »). Ces catégories donneront lieu à des niveau de contrôles différents par le Bureau européen de l’IA, la nouvelle entité européenne qui sera chargée de vérifier la bonne application de l’IA Act et des sanctions financières (jusqu’à 35 M€ ou 7% du CA annuel mondial ou 15 M€ et 3% du CA mondial) en cas de manquement au règlement.
Toutefois ces catégories sont dans les faits assez floues et souffrent de nombreuses exceptions, ce qui vide le règlement européen de sa substance et fait qu’il ne bloque en rien la reconnaissance faciale, mais au contraire la légitime.
Des systèmes à « risques limités » soumis à une transparence « minimale »
D’après la présentation qu’en fait le Parlement européen, « Les systèmes d’IA à risque limité », qui incluent les systèmes d’IA qui génèrent ou manipulent du contenu image, audio ou vidéo, devront « respecter des exigences de transparence minimales qui permettraient aux utilisateurs de prendre des décisions éclairées ». La réglementation européenne stipule que les utilisateurs devront « être informés » lorsqu’ils interagissent avec l’IA, afin d’éviter la diffusion des deepfakes (des contenus faux qui sont rendus crédibles par l’IA).
Mais dans les faits, le contrôle sur les IA généraliste et générative (Chat GPT, etc) sera limité.
Le texte prévoit normalement une obligation de transparence, ce qui implique que les entreprises devront livrer un résumé des données d’entraînement des IA génératives (Chat GPT, etc), une documentation technique très complète, aux régulateurs. Ils seront aussi contraints de montrer qu’ils travaillent en conformité avec la législation sur le droit d’auteur. Une mesure attendues par les auteurs qui est censée leur permettre de savoir si leurs contenus ont été exploités et, le cas échéant de demander une compensation.
Toutefois l’État français a réussi à rajouter une exception par le biais du « secret des affaires ». L’obligation de transparence se retrouve donc mise à mal, pour ne pas dire remise en question, au prétexte de la libre concurrence.
Sur ce dossier, il semblerait que la start-up Mistral AI (équivalent français de ChatGPT) ait beaucoup appuyé l’exécutif français. Cédric O, co-fondateur de l’entreprise, a apparemment déployé une intense activité de lobbying. D’aprés radio france, l’ancien secrétaire d’État chargé du numérique connaît les rouages administratifs et a pu jouer de son influence…
Les artistes auteurs risquent donc de devoir encore se battre pendant un moment contre le vol de leur travail par l’IA.
Par ailleurs, bien que ces systèmes soient présentés comme étant “moins dangereux” que les autres, le Parlement européen signale que ces IA génératives sont « susceptibles de présenter un risque systémique », dans leurs versions les plus avancées. Certains de ces systèmes d’IA générative devraient donc en théorie rejoindre la catégorie des systèmes dits à « haut risque » pour « faire l’objet d’évaluations approfondies ».
Évidemment c’est sans compter les exceptions.
Des systèmes « à haut risque » contrôlés… sauf pour les entreprises privées et la police
Il s’agit de systèmes considérés comme tolérables, mais tout de même risqués, de par l’impact négatif important qu’ils pourraient avoir « pour la santé, la sécurité, les droits fondamentaux, l’environnement, la démocratie et l’État de droit ». Ce sont par exemple les systèmes d’IA utilisés dans l’éducation, les ressources humaines ou le maintien de l’ordre. Ils sont donc censés être surveillés de près dans le cadre de l’IA Act.
Dans les systèmes à haut risque on trouve :
- Les systèmes d’IA qui sont utilisés dans les produits relevant de la législation de l’UE sur la sécurité des produits. Cela comprend les jouets, l’aviation, les voitures, les dispositifs médicaux et les ascenseurs.
- Les systèmes d’IA relevant de domaines spécifiques qui devront être enregistrés dans une base de données de l’UE : la gestion et l’exploitation des infrastructures critiques ; l’éducation et la formation professionnelle ; l’emploi, la gestion des travailleurs et l’accès au travail indépendant ; l’accès et la jouissance des services privés essentiels et des services et avantages publics ; les forces de l’ordre ; la gestion de la migration, de l’asile et du contrôle des frontières ; l’aide à l’interprétation juridique et à l’application de la loi.
Ces systèmes devront prévoir la mise en place d’une analyse d’impact obligatoire sur les droits fondamentaux. Par ailleurs les citoyens auront le droit de recevoir des explications sur les décisions prises par l’IA et de porter plainte.
Toutefois, d’après ce qu’a pu voir La coalition européenne Reclaim Your Face du texte final, les restrictions à l’utilisation de la reconnaissance faciale en temps réel et a posteriori prévues par la loi sur l’IA apparaissent minimes et ne s’appliqueront ni aux entreprises privées ni aux autorités administratives. Elles n’empêcheront donc par exemple pas le recrutement par IA (déjà en place).
Le texte final prévoirait également d’autoriser la police à classer les personnes filmées par les caméras de vidéosurveillance en fonction de leur couleur de peau. Une mesure profondément discriminatoire.
« Il est difficile de comprendre comment cela peut être autorisé étant donné que la législation européenne interdit normalement toute discrimination. Il semble cependant que, lorsqu’elle est pratiquée par une machine, les législateurs considèrent de telles discriminations comme acceptables. » (Reclaim Your Face, communiqué de janvier 2024).
Des systèmes jugés dangereux interdits… sauf la reconnaissance faciale
L’accord trouvé entre le Parlement européen et le Conseil des ministres de l’UE, prévoit normalement l’interdiction d’un certain nombre de systèmes de surveillance et de contrôle biométriques :
- Les systèmes de notation sociale : qui classent les personnes en fonction de leur comportement ou de leurs caractéristiques personnelles… (exemple du crédit social en Chine) (1).
- les systèmes de catégorisation biométrique utilisant des caractéristiques sensibles (par exemple : opinions politiques, religieuses, philosophiques, orientation sexuelle, race).
- l’extraction non ciblée d’images faciales sur Internet ou par vidéosurveillance pour créer des bases de données de reconnaissance faciale.
- la police prédictive (lorsqu’elle est basée uniquement sur le profilage d’une personne ou sur l’évaluation de ses caractéristiques)
- les systèmes de reconnaissance des émotions (2).
- les systèmes d’IA qui manipulent le comportement humain pour contourner le libre arbitre.
- l’IA utilisée pour exploiter les vulnérabilités des personnes (par exemple, des jouets activés par la voix qui encouragent les comportements dangereux chez les enfants).
Toutefois, dans cette nouvelle liste, l’interdiction de la catégorisation et de identification biométriques des personnes, ainsi que l’interdiction de l’utilisation de systèmes d’identification biométrique en temps réel et à distance, a disparu.
Par ailleurs, les négociateurs se sont mis d’acccord pour valider l’utilisation systèmes d’identification biométrique dans les espaces accessibles au public à des fins répressives moyennant « une autorisation judiciaire préalable et pour des listes d’infractions strictement définies ».
Les systèmes d’identification biométrique à distance a posteriori (où l’identification a lieu après un délai important via le TAJ et le TES), pourront donc continuer à poursuivre des « crimes graves (…) après l’approbation du tribunal ».
Autrement dit, les forces de l’ordre pourront continuer de faire de la reconnaissance faciale a posteriori (3). D’après ce qu’en a vu Reclaim your face, désormais, un vague lien avec la “menace” d’un crime pourrait suffire à justifier l’utilisation de la reconnaissance faciale rétrospective dans les espaces publics.
Par ailleurs, le texte valide l’utilisation de la reconnaissance faciale pour un certain nombre de cas spécifiques, comme :
- la recherche ciblée de victimes (enlèvement, traite, exploitation sexuelle).
- la prévention d’une menace terroriste précise et actuelle.
- la localisation ou l’identification d’une personne soupçonnée d’avoir commis l’un des crimes spécifiques mentionnés dans le règlement (terrorisme, traite, exploitation sexuelle, meurtre, enlèvement, viol, vol à main armée, participation à une organisation criminelle, crime contre l’environnement).
C’est la raison pour laquelle une membre présumée de la “bande à Baader” s’est récemment faite arrêtée à Berlin.
L’État français à l’origine de ce recul démocratique
L’État Français a littéralement été au coeur des débats. Avec l’Allemagne, l’Italie et l’Autriche, il a tenté de brider au maximum la règlementation européenne afin de laisser les coudées franche aux start-up lancées sur marché des IA génératives, mais aussi aux grosses entreprises de surveillance, afin d’avoir lui même les mains libres en matière de sécurité et de surveillance.
« la France a tenté, jusqu’au dernier jour et en vain, d’obtenir des concessions supplémentaires, au nom de la protection de ses start-up d’IA. Ces points portaient sur la régulation des « modèles de fondation », les grands logiciels capables de créer du texte ou de l’image. Ces outils sont fabriqués par certaines entreprises françaises ainsi que par les géants comme Google ou OpenAI, le créateur du robot conversationnel ChatGPT.
Bercy et l’Elysée ont tâché de limiter la publication du résumé des données d’entraînement de ces modèles à un « tiers de confiance », par exemple le bureau européen de l’IA créé par l’AI Act. Paris aurait aussi aimé voir relevé le seuil de puissance informatique à partir duquel les modèles les plus puissants sont considérés comme « systémiques » et soumis à des obligations renforcées d’évaluation et d’atténuation des risques (biais, désinformation, erreurs…). »
Le monde informatique, “Intelligence artificielle : la France accepte de valider l’AI Act après sept mois d’opposition”.
De plus, la France a aussi réussi à obtenir, que le texte prévoit une révision régulière des différentes obligations inscrites à l’intérieur. Il n’est donc pas du tout certain que le peu d’obligations qui ont été actées soient appliquées sur le long terme. Une vraie défaite en matière de protection des droits.
L’offensive de l’État français, couplée à la pression du calendrier (Thierry Breton voulait à tout prix boucler ce texte avant les élections européennes de juin pour éviter que celui-ci ne soit remis en question après les élections), a accouché d’un texte qui ne protège pratiquement pas les citoyens européens de la menace de l’IA et laisse pleinement les mains libres aux États pour utiliser la reconnaissance faciale.
« À l’approche des Jeux olympiques et paralympiques qui se tiendront à Paris cet été, la France s’est battue pour préserver ou étendre les pouvoirs de l’État afin d’éradiquer notre anonymat dans les espaces publics et pour utiliser des systèmes d’intelligence artificielle opaques et peu fiables afin de tenter de savoir ce que nous pensons. Les gouvernements des autres États membres et les principaux négociateurs du Parlement n’ont pas réussi à la contrer dans cette démarche. »
La coalition européenne Reclaim Your Face, communiqué de janvier 2024.
L’IA Act, qui entrera en vigueur en 2025, signe donc une victoire pour les entreprises de surveillance qui promeuvent la reconnaissance faciale, et une défaite ainsi qu’une menace, pour tous les militants à travers l’Europe…
À nous de nous unir contre ce projet de société dystopique.
Références
(1) À noter qu’ici, par rapport à la première proposition du Parlement, le classement par “le statut socio-économique” a disparu, de même que l’expression de “score social”, qui aurait pu également renvoyer aux algorithmes de scoring utilisés par la CAF.
(2) Ceux-ci ne seront cependant interdits que sur le lieu de travail et les établissements d’enseignement. Cela signifie que le règlement IA autorisera de nombreuses formes de reconnaissance des émotions – telles que l’utilisation par la police de systèmes d’IA pour évaluer qui dit ou ne dit pas la vérité aux frontières – bien que ces systèmes ne reposent sur aucune base scientifique crédible.
(3) Lors des derniers procès à l’encontre de manifestants de Sainte-Soline au Tribunal de Niort, il est apparu que trois des sept prévenus avaient été identifiés par un logiciel inconnu, sur la base de photos prises lors de la manifestation de Sainte-Soline et comparées aux données contenues dans le fichier du Traitement des Antécédents Judiciaires (TAJ). Une utilisation illégale critiquée par l’avocat de la défense Raphaël Kempf.
Nos autres articles sur le sujet
Le règlement européen sur l’IA n’interdira pas la surveillance biométrique de masse
IA act : compromis entre les Etats et le parlement de l’UE
IA act au parlement UE en avril : recadrage ou promotion de l’IA partout ?
Face aux migrant·es, l’UE (et la France) systématisent l’IA