Le projet de règlement européen sur l'IA entre actuellement dans une phase décisive (vote en plénière au parlement le 14 juin, puis négociation avec les Etats). Si, dans le projet voté en commissions le 11 mai, on peut enregistrer certains progrès dues aux actions collectives (interdictions de l'identification biométrique, de la reconnaissance des émotions et de la police prédictive, voir détails dans notre article), c'est par contre l'échec pour tout ce qui concerne les migrant·es. La secrétaire générale d'Amnesty International (la française Agnès Callamard) vient d'écrire une lettre ouverte.
Appel aux rapporteurs et aux membres des commissions dirigeantes sur la loi européenne sur l'intelligence artificielle (loi IA) à interdire l'utilisation de certains systèmes incompatibles avec les droits humains des migrants, réfugiés et demandeurs d'asile
La lettre demande l'interdiction des :
- Systèmes automatisés d'évaluation des risques et de profilage, utilisés pour déterminer si les personnes en déplacement présentent un "risque" d'activité illégale ou de menaces à la sécurité, compte tenu des risques pour les droits à la non-discrimination, à la vie privée et à la protection des données, ainsi qu'au droit à la liberté et à la sécurité .
- Systèmes analytiques prédictifs utilisés pour interdire, réduire et prévenir la migration , posant un grand risque de refoulement et de violation du droit d'asile.
- Utilisation de "détecteurs de mensonge" basés sur l'IA et d'autres outils de reconnaissance des émotions, car ils menacent les droits à la non-discrimination, à la vie privée, à la liberté et à un procès équitable.
- L'identification biométrique à distance (RBI) rétrospective (post), en plus de la RBI en direct (en temps réel) dans tous les contextes, y compris de la gestion des migrations et des frontières, qui facilitent la surveillance de masse et discriminatoire et menacent le principe de non-refoulement. L'exportation de ces technologies devrait également être interdite.
A NOTER : l'Union Européenne a considérablement investi, depuis 2019, dans le soutien au développement de multiples programmes basés sur l'IA qui servent à surveiller, pister, harceler les migrant·es et empêcher physiquement leur entrée sur le territoire. Nous avons fait un inventaire assez exhaustif de ces programmes (dont drones, robots, détecteurs de mensonge, bases de données biométriques jusqu'à des "robots tueurs") avant un débat organisé en novembre 2022 (occasion de projection d'une vidéo sur certains de ces outils).
Traduction de la lettre ouverte (à l'aide de l'application DeepL)
Lettre ouverte aux rapporteurs sur le règlement de l'UE sur l'intelligence artificielle (AI ACT) pour garantir la protection des droits des migrants, des demandeurs d'asile et des réfugiés
Bruxelles, le 26 avril 2023
Je vous écris, en tant que co-rapporteurs sur la loi sur l'intelligence artificielle, pour vous demander d'interdire l'utilisation de certains systèmes d'intelligence artificielle (IA) incompatibles avec les droits de l'homme, afin de protéger les droits des migrants, des réfugiés et des demandeurs d'asile contre les conséquences néfastes du déploiement de l'IA.
Des organisations de la société civile, dont Amnesty International, ont demandé à plusieurs reprises l'adoption d'une loi européenne sur l'IA qui protège et promeuve les droits de l'homme [1]. Dans le cadre de la coalition #Protect Not Surveil (Protéger et non surveiller) [2], Amnesty International a souligné que la loi sur l'IA doit protéger toutes les personnes contre les utilisations néfastes de l'intelligence artificielle, quel que soit leur statut migratoire [3].
À cet égard, Amnesty International se félicite de l'ouverture du Parlement européen à étendre la liste des systèmes utilisés dans le contexte de la migration, de l'asile et du contrôle des frontières qui sont classés comme présentant un risque élevé, de sorte qu'ils soient déployés dans le cadre de mesures réglementaires strictes visant à protéger les droits humains des personnes concernées.
Cependant, nous sommes profondément préoccupés par le manque de volonté politique d'aller plus loin et d'interdire totalement l'utilisation de l'intelligence artificielle incompatible avec les droits humains dans ce contexte.
Au nom d'Amnesty International et d'organisations de la société civile, je vous demande d'interdire :
1. Les systèmes automatisés d'évaluation des risques et de profilage, utilisés pour déterminer si les personnes en déplacement présentent un "risque" d'activité illégale ou de menace pour la sécurité.
Ces systèmes se sont avérés intrinsèquement discriminatoires [4] , profilant les personnes en fonction de leur nationalité, de leur origine ethnique et raciale, ce qui équivaut à une discrimination raciale telle que définie dans le droit international des droits de l'homme [5] et viole le droit à la non-discrimination en vertu de la Charte des droits fondamentaux de l'UE (ci-après la Charte) [6].
Les systèmes automatisés d'évaluation des risques présentent également des risques pour les droits et les principes de la protection des données. Même lorsque le profilage n'est pas fondé directement sur des catégories particulières de données à caractère personnel au sens du règlement général sur la protection des données de l'UE (RGPD), il peut utiliser des informations qui révèlent indirectement de telles données. Par exemple, les croyances religieuses ou les données de santé d'un voyageur peuvent être déduites de ses préférences alimentaires, ce qui viole son droit à la protection des données [7] et donne lieu à un profilage discriminatoire. Compte tenu du déséquilibre des pouvoirs entre les réfugiés, les demandeurs d'asile et les autorités chargées de la gestion des migrations et des frontières, les informations utilisées pour les systèmes de profilage peuvent également être extraites de force et de manière illégale [8], sans le consentement libre, spécifique et éclairé des personnes, comme le prescrit le GDPR [9].
Les outils d'évaluation des risques présentent d'autres risques pour le droit à la liberté et à la sécurité des personnes en vertu du droit international des droits de l'homme. Dans un avis [10] concernant un projet d'accord entre l'UE et le Canada sur le transfert et le traitement des données des dossiers passagers ("PNR") [11], la Cour de justice des Communautés européennes a averti que le traitement automatisé des PNR pourrait donner lieu à des décisions contraignantes affectant les droits d'une personne sans qu'il soit prouvé que la personne concernée représente un risque pour la sécurité publique. Un outil d'évaluation des risques [12] qui a été paramétré pour recommander systématiquement la détention des immigrants aux États-Unis illustre la manière dont ces outils peuvent faciliter les arrestations et détentions arbitraires interdites par le droit international des droits de l'homme [13].
Compte tenu des risques déclarés pour les droits à la non-discrimination, à la vie privée et à la protection des données, ainsi que pour le droit à la liberté et à la sécurité, les systèmes automatisés d'évaluation des risques et de profilage dans le contexte de l'immigration, de l'asile et du contrôle des frontières doivent être interdits.
2. Systèmes d'analyse prédictive utilisés pour interdire, freiner et prévenir les migrations.
L'UE utilise déjà des outils basés sur l'IA [14] pour "prévoir et évaluer la direction et l'intensité des flux migratoires irréguliers à destination et à l'intérieur de l'UE". Si les systèmes prédictifs peuvent être utilisés pour faciliter la préparation des États membres à l'accueil et à l'hébergement des personnes arrivant sur leur territoire, ces outils sont souvent utilisés dans le contexte de pratiques punitives de contrôle des frontières, axées sur la prévention des franchissements "irréguliers" des frontières [15].
L'UE et ses États membres ne devraient jamais utiliser d'outils d'analyse prédictive pour empêcher des personnes d'accéder à leur territoire pour demander l'asile ou les exposer à un risque de refoulement [16]. La loi sur l'IA doit garantir une interdiction claire de toute utilisation de technologies prédictives menaçant le droit d'asile, qui est garanti par la Charte [17] ainsi que par le droit d'asile secondaire de l'UE.
3. Les "détecteurs de mensonge" basés sur l'IA et autres outils de reconnaissance des émotions.
Ces types de technologies sont soutenus par l'UE [18] et déployés aux frontières [19], malgré les preuves de préjugés raciaux [20] intégrés dans ces outils et leurs composants tels que les technologies de reconnaissance faciale (FRT) et les interrogations de la communauté scientifique quant à la capacité réelle de ces systèmes à faire ce qu'ils prétendent [21].
Le Haut Commissaire des Nations unies aux droits de l'homme a mis en garde contre le fait que la reconnaissance des émotions est "susceptible de donner lieu à des préjugés et à des interprétations erronées" [22] , étant donné que les expressions faciales varient en fonction des cultures et des contextes. Il ajoute que l'utilisation de ces technologies "risque de porter atteinte aux droits de l'homme, tels que les droits à la vie privée, à la liberté et à un procès équitable" [23].
Le rapporteur spécial des Nations unies sur les droits des personnes handicapées a exprimé des préoccupations similaires concernant l'interprétation erronée des expressions faciales de certaines personnes handicapées et a recommandé un moratoire sur ces outils jusqu'à ce que des garanties adéquates soient mises en place pour protéger les droits de l'homme [24].
Le Conseil européen de la protection des données (CEPD) et le Contrôleur européen de la protection des données (CEPD) ont recommandé l'interdiction de la reconnaissance des émotions, sauf dans des cas très spécifiques [25].
Les recherches menées par Amnesty ont conclu que les technologies qui permettent de déduire les émotions ou la tromperie souffrent de graves lacunes dans leurs fondements scientifiques [26]. Cela signifie que les conclusions qu'elles tirent sur nous sont souvent invalides, allant même dans certains cas jusqu'à rendre opérationnelles les théories eugénistes de la phrénologie et de la physiognomonie [27], perpétuant ainsi la discrimination et ajoutant une couche supplémentaire de préjudice puisque nous sommes à la fois surveillés et mal caractérisés. Nos recherches ont également révélé comment les outils de reconnaissance biométrique, y compris la reconnaissance des émotions, ont été utilisés pour des programmes de surveillance de masse aveugle en Chine, notamment dans la région autonome ouïgoure du Xinjiang, où l'on estime que jusqu'à un million d'Ouïgours et de membres d'autres groupes ethniques ont été arbitrairement maintenus en captivité dans ce que l'on appelle des "camps de rééducation" [28].
Compte tenu du grand déséquilibre de pouvoir entre les autorités utilisant les technologies de reconnaissance des émotions et les personnes en déplacement soumises à ces systèmes, et de l'immense risque qu'une telle utilisation représente pour les droits à la non-discrimination [29], à la vie privée [30], à la liberté [31] et à un procès équitable [32], les outils de reconnaissance des émotions basés sur l'IA dans le contexte de la migration, de l'asile et de la gestion des contrôles aux frontières, ainsi que dans la plupart des autres contextes, doivent être interdits.
4. Identification biométrique à distance (RBI) dans le contexte de la gestion des migrations et des frontières.
Amnesty International a montré comment les technologies de reconnaissance faciale ont facilité la surveillance massive et discriminatoire [33]. Nous avons donc demandé l'interdiction du développement, de l'utilisation, de la vente et de l'exportation de ces technologies. À cet égard, nous saluons l'engagement du Parlement européen à interdire la pratique du RBI dans les espaces accessibles au public, compte tenu du grave danger qu'elle représente pour les droits de l'homme.
Afin de garantir que le déploiement de ces technologies n'entraîne pas de graves violations des droits des personnes en déplacement, cette interdiction devrait également s'appliquer aux frontières de l'UE, ainsi qu'aux espaces situés à l'intérieur et autour des centres de détention. Il est important d'interdire le RBI en temps réel et a posteriori, afin de protéger toutes les personnes, y compris les migrants, les réfugiés et les demandeurs d'asile, d'une surveillance massive et discriminatoire.
Enfin, l'exportation de ces technologies devrait être interdite, y compris dans le cadre de la coopération avec les pays tiers en matière de migration et de gestion des frontières. À défaut, les États membres risqueraient de manquer à leur obligation de respecter les droits de l'homme et, plus particulièrement dans ce contexte, le principe de non-refoulement [34].
Le Parlement européen a pris des mesures considérables pour renforcer la protection des droits de l'homme des personnes et des communautés touchées par les systèmes et les pratiques d'intelligence artificielle. Toutefois, nous constatons avec regret qu'à ce jour, le projet de loi sur l'IA ne garantit pas aux personnes en déplacement le même niveau de protection contre les dommages induits par l'IA que celui accordé aux citoyens européens. Si les États ont la prérogative de gérer leurs frontières, ils doivent le faire sans violer les droits humains des migrants, des réfugiés et des demandeurs d'asile. La différence de traitement dans la protection contre les dommages associés au déploiement de la technologie sur la base du statut migratoire est absolument injustifiée, et équivaudrait à de multiples violations des obligations de l'UE en matière de droits de l'homme, et le Parlement doit s'opposer fermement à une telle approche.
Le Parlement européen a le devoir de faire respecter le droit international. Étant donné que l'UE et ses États membres appliquent systématiquement des politiques et des pratiques punitives et abusives en matière d'immigration [35] , il est de plus en plus urgent de faire respecter ce devoir. Le Parlement doit veiller à ce que les migrants, les réfugiés et les demandeurs d'asile ne soient pas exposés à de nouvelles violations des droits de l'homme facilitées [36] par des utilisations particulièrement néfastes des technologies d'intelligence artificielle. La loi sur l'IA offre une occasion unique de mettre en place les garanties nécessaires en matière de droits de l'homme. C'est pourquoi je vous invite, en tant que membres du Parlement européen, à faire preuve de la plus grande vigilance.
Par conséquent, je vous invite, en tant que membres des commissions du Parlement européen chargées de définir la position du Parlement sur la loi relative à l'IA, à adopter une position ferme en interdisant les pratiques notoires fondées sur l'IA qui sont incompatibles avec les droits humains des migrants, des réfugiés et des demandeurs d'asile.
Je vous prie d'agréer, Monsieur le Président, l'expression de mes salutations distinguées,
Agnès Callamard, Secrétaire générale d'Amnesty International