Ce texte, voulu à toutes forces par Thierry Breton (commissaire français désigné par E. Macron) doit encore être adopté par le Parlement européen et le Conseil de l'Union européenne. Mais sans grand suspense (sauf encore quelques reculs ?) puisque tous les arbitrages ont été faits. Il pourrait n'entrer en application qu'en 2025.
Le Parlement européen avait approuvé un texte assez ambitieux (sauf pour les migrant.es, totalement tenu.es à l'écart des protections projetées, ce qui avait amené l'appel en leur faveur de 151 organisations européennes).
Mais que reste-t-il des avancées : interdiction des IA utilisant la reconnaissance faciale en temps réel ou a posteriori, de celles permettant la police prédictive, l'usage de critères portant sur le genre ou la race, la notation automatisée, l’analyse comportementale (reconnaissance des émotions)... ?
Ci-dessous point rapide (qu'il faudra clarifier dans un deuxième temps), et communiqué de l'EDRi (European Digital Rights). A la suite, nous présentons les grandes lignes du texte - nettement plus ambitieux - voté en juin par le parlement de l'UE.
Quelques points (d'après Médiapart et franceinfo-AFP et autres) :
- l’ensemble du dispositif est basé sur des déclarations auprès d’un bureau européen de l’intelligence artificielle, nouvelle structure d’une centaine de personnes chargée de l’application du texte et d’en sanctionner le non-respect (amende jusqu’à 7% du chiffre d'affaires annuel, jusqu’à 37 millions d’€). Une certification (et donc un classement) sera attribué, avec des obligations et des suivis spécifiques selon la catégorie.
- des citoyens européens pourront lancer des plaintes contre des systèmes d'IA (quelles modalités ?). Il y aurait obligation d'informer des personnes "quand elles sont exposées" à des systèmes de reconnaissance des émotions (c’est carrément un recul : le texte du parlement prévoyait l’interdiction !).
- systèmes d'IA à usage général (GPAI, nom générique donné aux logiciels recourant à l'IA type ChatGPT) : obligation d'une documentation technique précise, de respecter les règles européennes en matière de droits d'auteurs (cela correspond à l’approche américaine). Toute image, texte, son, produit·e par intelligence artificielle devra être identifié·e. De même, les usagers de quelque service que ce soit devront être informés pour savoir s’ils parlent à un humain ou à une machine. Ceux présentant un "risque systémique" pourront faire l’objet d’évaluations pour limiter ces risques.
- systèmes d'IA "à haut risque" : qui présentent un "préjudice potentiel important" pour la santé, l’éducation, la sécurité, les droits fondamentaux, l'environnement, la démocratie et l'Etat de droit" (en fait le maintien de l’ordre). Par exemple pour les technologies visant à altérer les résultats d'élections ou à influer les décisions des électeurs. Une analyse d'impact sur les droits fondamentaux sera obligatoire. Elles prévoient notamment un contrôle humain de la machine (pour éviter les systèmes totalement automatisés comme les "robots tueurs"?), la mise en place d’une "gestion des risques".
- interdiction de six types de systèmes d'IA :
* catégorisation biométrique utilisant des informations telles que les croyances politiques et religieuses, ou encore l'orientation sexuelle ;
* celles "utilisées pour exploiter les fragilités des personnes du fait de leur âge, handicap ou situation économique" ;
* celles visant à "manipuler les comportements" ayant recours à des techniques subliminales, ou susceptibles d’altérer le comportement – comme par exemple la notation sociale en fonction de l’origine, du comportement ;
* partiellement, celles visant à la police prédictive sur la base de "traits ou caractéristiques de personnalité" (là aussi, recul : le projet de départ prévoyait l’interdiction totale) ;
* celles permettant la reconnaissance des émotions, mais uniquement sur les lieux de travail et dans les établissements d'enseignement (donc pas celles liées à la police et aux contrôles aux frontières !) ;
* la reconnaissance faciale est interdite, "en théorie" : interdiction des systèmes biométriques à distance en temps réel dans les espaces publics. Les technologies récupérant des images de visages sur internet ou dans des images de vidéosurveillance "pour créer des bases de données de reconnaissance faciale" seraient aussi interdites ;
- beaucoup d’exceptions, notamment obtenues par la France, pour les forces de l'ordre : elles pourront avoir recours à certaines de ces technologies après "une autorisation de la justice" ou sur décision administrative (rajout de la France, fâchée avec sa justice) et pour "une liste de crimes strictement définis". Notamment, pour la prévention en cas de menaces terroristes ou d’une menace "spécifique, substantielle et imminente", pour la recherche de victimes d'enlèvement, d'exploitation sexuelle ou de trafic d'êtres humains ou pour l’identification ou la localisation d’auteurs d’infractions pénales...
BEAUCOUP DE FLOU ET D'EXCEPTIONS QUI PEUVENT REMETTRE EN QUESTION LES QUELQUES AVANCÉES DU TEXTE VOTÉ EN JUIN AU PARLEMENT
Communiqué de l'EDRi du 9 décembre
Acte européen sur l’IA : accord conclu, mais trop tôt pour le célébrer
Le 8 décembre 2023, après plus de 36 heures de négociations, les législateurs européens ont finalement conclu un accord sur la loi sur l'intelligence artificielle. Cependant, même si certaines protections des droits fondamentaux ont été obtenues, la loi dans son ensemble n’a pas été à la hauteur de son potentiel de placer les personnes et leurs droits au premier plan.
Pour savoir si ce règlement sur l’IA protège les citoyens européens contre les pires excès de surveillance, de discrimination et de préjudices liés à l’IA, cela nécessitera une évaluation plus complète des éléments techniques qui feront surface au cours des prochaines semaines.
"Les gouvernements de l'UE ont été contraints d'admettre que les systèmes d'IA sont de plus en plus utilisés à des fins de surveillance de masse, de profilage racial et à d'autres fins nuisibles et invasives. Même si l'accord contient des gains limités en matière de droits de l'homme, il ne s'agira que d'une coquille de la loi sur l'IA dont l'Europe a réellement besoin." Sarah Chander, conseillère politique principale, Droits numériques européens
Jusqu’à présent, nous savons que l’accord comprend :
- Interdiction de la reconnaissance faciale publique en direct, mais avec plusieurs exceptions pour la recherche de certaines victimes, suspects et pour la prévention des attentats terroristes. Même si ces conditions sont plus strictes que ce que les États membres de l'UE préconisaient, elles ouvrent néanmoins la voie à une utilisation dangereuse, discriminatoire et de surveillance de masse de ces systèmes ;
- Une limitation de la reconnaissance faciale publique post (rétrospective) à la recherche de suspects de crimes graves uniquement, bien que le seuil de ce qui constitue un crime "grave" soit actuellement indéterminé ;
- Une interdiction partielle de la police prédictive, y compris les prédictions quant à la probabilité de commettre une infraction pénale sur la base de "traits ou caractéristiques de personnalité", mais pas la majorité des systèmes de police prédictive ;
- Une interdiction totale des systèmes de reconnaissance des émotions, mais uniquement sur les lieux de travail et dans les établissements d'enseignement. Cela omet illogiquement les utilisations les plus néfastes de toutes : celles dans les contextes policiers et frontaliers et migratoires ;
- Une prétendue interdiction des systèmes de catégorisation biométrique, même si l'on ne sait toujours pas clairement si cette interdiction sera significative ou non ;
- Garanties limitées basées sur les droits, y compris une évaluation d'impact obligatoire sur les droits fondamentaux et un certain niveau de transparence publique quant aux systèmes d'IA à haut risque déployés en Europe ;
- Des failles très importantes dans le niveau global de protection, y compris un large pouvoir discrétionnaire laissé aux développeurs d'IA pour décider que leurs systèmes ne sont pas "à haut risque", ainsi que diverses exemptions aux règles. lorsque les autorités chargées de l'application des lois, des migrations et de la sécurité nationale déploient une IA "à haut risque". Il s'agit d'une perte majeure pour la surveillance publique des systèmes d'IA les plus préoccupants.
"Il est difficile d'être enthousiasmé par une loi qui, pour la première fois dans l'UE, a pris des mesures pour légaliser la reconnaissance faciale publique en direct. Alors que le Parlement s’est battu avec acharnement pour limiter les dégâts, le paquet global sur la surveillance biométrique et le profilage est pour le moins tiède. Notre lutte contre la surveillance biométrique de masse va se poursuivre." Ella Jakubowska, conseillère politique principale, droits numériques européens
Projet de texte voté par le Parlement de l'UE le 14 juin (499 voix pour, 28 contre et 93 abstentions)
Ci-dessous état du texte après le vote au parlement (analyse des juristes de l'EDRI, en anglais).
Définition de l'IA (c'est celle de l'OCDE qui a été retenue sous la pression des groupes conservateurs) : "un système d’intelligence artificielle est un système automatisé qui, pour un ensemble donné d’objectifs définis par l’homme, est en mesure d’établir des prévisions, de formuler des recommandations, ou de prendre des décisions influant sur des environnements réels ou virtuels." Ce type de définition est important car il cadre le champ d'application du texte.
Systèmes interdits (UNACCEPTABLE RISK)
D'après le projet de départ (d’avril 2021) :
- Les systèmes établissant une "note sociale", qui classifient les personnes selon leur fiabilité, par exemple, et peuvent conduire à "un traitement préjudiciable ou défavorable" ;
- Les systèmes d’identification biométrique à distance et en temps réel "dans des espaces accessibles au public à des fins répressives", y compris par les autorités ;
- Les systèmes qui visent à manipuler par des techniques subliminales agissant sur l’inconscient ;
- Les systèmes ciblant les personnes vulnérables comme les enfants ou les personnes handicapées.
Suite aux votes : est confirmée l'interdiction de "l'identification biométrique à distance", c'est-à-dire de la surveillance des citoyens dans les lieux publics avec la reconnaissance faciale et autres systèmes d'IA (décision très importante qui devrait permettre de revenir sur au moins une partie du texte français sur les JO 2024, précédent européen dénoncé par l'EDRI).
Autre vote : l'interdiction de la catégorisation biométrique et de la reconnaissance des émotions. De tels systèmes sont utilisés en Chine pour réprimer les Ouïghours et en Iran pour contrôler le code vestimentaire de la brigade des mœurs.
Par ailleurs, le texte prévoit aussi d'interdire les "systèmes de police prédictive", lesquels avaient fait l'objet d'un appel spécifique de l'EDRI, signé par quarante organisations de défense des droits humains.
En revanche, l'EDRI dénonce le fait que les droits des migrants ne seront pas protégés contre une surveillance discriminatoire car ne sont pas inclus dans la liste des pratiques interdites l'usage de l'IA pour faciliter les refoulements illégaux, ou pour profiler des personnes de manière discriminatoire (protestation portée par 195 organisations européennes).
"Le Parlement envoie un message d'importance mondiale aux gouvernements et aux développeurs d'IA avec sa liste d'interdictions, se rangeant du côté des demandes de la société civile selon lesquelles certaines utilisations de l'IA sont tout simplement trop nocives pour être autorisées. Malheureusement, le soutien du Parlement européen aux droits des personnes s'arrête avant de protéger les migrants contre les méfaits de l'IA." Sarah Chander, conseillère politique EDRi
Systèmes fortement réglementés (HIGH RISK)
Ayant une "incidence préjudiciable significative sur la santé, la sécurité et les droits fondamentaux des citoyens", comme les machines médicales, les systèmes de reconnaissance faciale ou les voitures autonomes...
Ces IA (utilisées dans l’éducation, dans le domaine de l’emploi, de la santé ou encore des migrations), classifiées comme très risquées, seront autorisées sous réserve de contrôles effectués par des agences nationales (la CNIL en France ?).
L'arbitrage de la CNIL, on l'a vu dans l'actualité récente, n'est pas une très forte garantie...
Par ailleurs, les observatrices de l'EDRI s'inquiètent du changement de définition de "risque élevé" qui offre un échappatoire aux développeurs d'IA, les incitant à "sous-classer" leurs applications pour échapper aux exigences législatives au détriment des droits des personnes.
"Malheureusement, le Parlement propose des changements très inquiétants concernant ce qui est considéré comme une IA "à haut risque". Avec les modifications apportées au texte, les développeurs pourront décider si leur système est suffisamment "significatif" pour être considéré comme à haut risque, un drapeau rouge majeur pour l'application de cette législation". Sarah Chander, conseillère politique EDRi
Amnesty International (membre de la coalition Protect Not Surveil (protéger, pas surveiller), dénonçe le régime spécial prévu par le règlement vis-à-vis des migrant·es, objet d'une classification "à haut risque" mais non "à risque inacceptable" comme pour le reste de la population. "C’est un deux poids et deux mesures intolérable, dénonce . Des personnes vulnérables vont rester sous la menace des dangers liés à l’IA". Katia Roux, chargée de plaidoyers, Amnesty International
Systèmes présentant des "risques spécifiques de manipulation" (LIMITED RISK)
Systèmes qui intéragissent avec des humains et sont utilisés pour analyser des émotions ou identifier des catégories sociales grâce à des données biométriques, ou génèrent des contenus tels que des "trucages vidéo ultra-réalistes".
Ils devront être assortis d’obligations de transparence spécifiques, en l’occurrence, un avertissement sur le fait que leur contenu est "généré par des moyens automatisés" »".
C'est par exemple le cas du logiciel Midjourney qui génère de fausses images d’actualité, lesquelles avaient été prises à tort par certains internautes pour de vrais clichés. Cela concernerait aussi ChatGPT.
Ce type d'avertissement protège-t-il vraiment, ou sera-t-il détourné comme pub de promo pour les IA grand public ?
Systèmes autorisés sans réserve (MINIMAL RISK)
Tous les autres types d’IA ne nécessiteront pas d’évaluation ou de mesures particulières. C’est le cas, par exemple, des objets connectés recourant à l’IA. Ces systèmes devront simplement respecter les droits fondamentaux et la loi européenne, et en particulier le Règlement général sur la protection des données (RGPD).
Règles spécifiques sur les IA génératives (ChatGPT...)
Parmi les amendements ajoutés au texte une disposition impose que toutes les IA génératives comme ChatGPT, Midjourney... divulguent quels contenus protégés par des droits d’auteurs elles ont utilisés pour entraîner leur modèle de langage (copyright du matériel d’entraînement).
Les modèles d’IA génératives devront aussi être testés pour atténuer les risques prévisibles concernant la santé, la sécurité, les droits fondamentaux, l’environnement, la démocratie et la loi, en impliquant des experts indépendants, rapporte Computerworld.com. Les dangers non évitables devront être décrits dans une documentation précise.
Sources
IA act au parlement UE en avril : recadrage ou promotion de l'IA partout ?
Dangers de l'intelligence artificielle : bien plus que par ChatGPT
IA act : L'UE doit respecter les droits humains des migrant·es
Un premier pas vers un encadrement européen de la surveillance biométrique
6 réponses sur « IA act : compromis entre les Etats et le parlement de l'UE »
[…] biométrique, de la reconnaissance des émotions et de la police prédictive, voir détails dans notre article), c'est par contre l'échec pour tout ce qui concerne les migrant·es. La secrétaire générale […]
[…] conclusion, message d'espoir relatif lié à la négociation actuelle sur l'IA act, suite au travail de l'EDRI. Après le vote au parlement européen, certaines dispositions […]
[…] - l’IA et son usage contre les migrant·es et les droits sociaux, débat sur l’IA act européen. […]
[…] le projet d’AI Act (en cours) : il prévoit de classer les objets utilisant l’IA en 4 catégories en fonction de leur dangerosité, et d’interdire certains usages dangereux (par exemple la reconnaissance faciale, la reconnaissance des émotions, la police prédictive, etc.). Mais ce sont les industriels eux-mêmes qui décideraient du classement des produits qu’ils fabriquent dans l’une ou l’autre de ces catégories ! […]
[…] Le ton est pessimiste car certains de ces Etats (au premier rang la France, alliée aux pays dominés par l'extrême droite) jouent la minorité de blocage (dans le système du vote à la majorité qualifiée, il suffit de réunir des pays représentant au moins 35 % de la population de l’UE...) pour s'opposer aux quelques avancées du texte (voir inventaire des négociations). […]
[…] IA act : compromis entre les Etats et le parlement de l'UE […]