Robots-tueurs : le retour (sous couvert d’IA) – Halte au contrôle numérique

Les progrès de l’intelligence artificielle ont rendu imaginable le développement de "robots tueurs". La France est officiellement contre, mais ouvre de plus en plus la porte à des exceptions.

L’intelligence artificielle (IA) a déjà bouleversé le monde militaire. À bord des véhicules blindés Griffon, elle "aide" les soldats à repérer des cibles en analysant les images captées par six caméras intégrées. Jointe à des systèmes de défense antiaérienne, elle calcule les trajectoires de missiles ennemis afin de les intercepter avant qu’ils n’atteignent leur cible.

L’armée israélienne l’utilise massivement. L’IA a contribué à l’anéantissement de Gaza et de ses habitant·es en proposant des milliers de noms de personnes à tuer (après les avoir surveillées et leur avoir attribué une "note de sécurité") et en aidant à les localiser.

La prochaine étape est à nos portes : l’utilisation d’armes létales autonomes, c’est-à-dire de robots capables de décider eux-mêmes d’attaquer et de tuer quelqu’un. Lorsque nous avions étudié l'usage de l'IA par les agences européennes contre les migrants, principalement Frontex, on pouvait visualiser ces "robots tueurs" en vidéo (ici). Des fabricants proposent à la vente des drones kamikazes qui peuvent être utilisés avec intervention humaine ou en version "entièrement autonome".

Depuis, la guerre en Ukraine, durant laquelle les armes recourant à l’IA ont été massivement utilisées, a agi comme un accélérateur. Au sein de l’institution militaire, les discours évoluent. Le 12 février, un rapport du Comité d’éthique de la défense est venu préciser et actualiser la position française.

Le site Médiapart a interviewé sur le sujet Laure de Roucy-Rochegonde, directrice du Centre géopolitique des technologies de l'Ifri, qui a écrit La Guerre à l’ère de l’intelligence artificielle. Quand les machines prennent les armes (PUF, 2024). Elle plaide pour une interdiction à l’échelle internationale des armes létales autonomes.

L’avis rendu récemment par le Comité d’éthique de la défense marque-t-il une évolution dans les discours français sur les armes autonomes ?

Laure de Roucy-Rochegonde : Ce n’est pas une rupture par rapport à ce qui existait avant : on retrouve beaucoup de principes cardinaux, comme la responsabilité, le contrôle humain [sur la technologie – ndlr], le respect de la chaîne de commandement…

En revanche, il y a de petits infléchissements qui peuvent paraître anecdotiques mais auraient des conséquences importantes. Ses auteurs écrivent par exemple que "les critères d’acceptation de l’automaticité varient selon les circonstances". Cela me semble être une mini-révolution – dans un texte qui en soi n’est pas révolutionnaire –, parce que c’est une façon de transiger avec la vision précédente qui était que la France n’accepterait jamais d’autonomie totale des systèmes d’armes.

C’est quelque chose que j’ai beaucoup entendu dans mes échanges avec des militaires et des start-up ces derniers mois. Beaucoup disent : "C’est déjà le cas dans la guerre en Ukraine, il y a certains cas d’autonomisation très poussée, voire totale. Quand on est dans un contexte où il n’y a aucun risque de victimes civiles et pas d’obstacles, il faut pouvoir le faire." Cela me semble dangereux. C’est toujours le même problème : c’est progressif, mais ça va dans le sens d’un moindre contrôle. Et donc ça laisse la possibilité d’une perte de contrôle.

Pour le reste, le contenu de cet avis est un peu comme toutes les « régulations » qui sont en train de se construire sur ces questions : il s’agit vraiment de déclarations d’intention. On veut "veiller à ce que le droit international humanitaire soit respecté", à ce que "les systèmes soient explicables et transparents", mais ce que cela donne concrètement ensuite, personne ne l’explique.

La position française est-elle aujourd’hui une sorte de "non… mais" ? un avis de principe négatif, mais qui ouvre la voie à des exceptions ?

L’avis précédent du comité d’éthique [publié en 2021 – ndlr] était déjà un peu de cet ordre-là. Il disait "non à l’autonomie totale façon Terminator", mais oui aux systèmes d’armes létaux "intégrant de l’autonomie".

La porte était déjà un peu ouverte, et là on va encore plus loin. Avec l’idée que "si le rythme est trop rapide [pour un humain – ndlr], s’il y a trop d’informations à traiter, si le contexte est très sûr, pourquoi se priver" ? Avec aussi, en filigrane, l’idée de "si nos compétiteurs ne se privent pas, il ne faut pas qu’on se lie les mains". Ce texte crée des exceptions plus identifiées, d’une certaine manière.

Une partie de l’avis qui vient d’être publié évoque la question du "doute" que peuvent avoir les soldats par rapport aux résultats proposés par les systèmes intégrant de l’IA. Ce doute est "légitime", peut-on lire. Mais quand on regarde l’expérience opérationnelle, le problème est justement qu’il n’y a pas trop de doutes… Il y a plutôt un biais d’automatisation qui crée une surconfiance totale dans la machine.

Bref, cela peut donner l’impression que tout un tas d’écueils et de problèmes ont été identifiés, que tous les enjeux éthiques sont pris en compte, mais quand on regarde dans le détail, il me semble que c’est léger. Et l’avis de ce comité d’éthique est, de toute façon, consultatif.

Au-delà de ces déclarations publiques, quel est l’état des discussions sur ces questions au sein de l’institution militaire ?

La France a la volonté de ne pas se lancer à corps perdu dans cette compétition pour l’IA militaire. Mais quand on parle avec les militaires eux-mêmes, c’est différent. On est passé il y a cinq ans de : "Nous, ça ne nous intéresse pas du tout d’avoir des armes autonomes, on a besoin d’avoir des hommes" à : "De toute façon, on y va et c’est comme ça." Il y a un vrai changement de discours de ce point de vue là.

On entend aussi, plus largement, toute une rhétorique chez les officiers français sur : "Pourquoi on s’embêterait avec des principes éthiques alors qu’on fait potentiellement face à des adversaires sans foi ni loi ?" Je pense que c’est très dangereux du point de vue de l’escalade, de la course aux armements et, évidemment, du respect du droit international.

Vous parliez de "déclarations d’intention". En quoi les déclarations générales sur la vigilance à avoir par rapport à l’IA militaire ne font-elles pas avancer les choses ?

Ce que montrent tous les chercheurs, tous les ingénieurs qui essaient de faire de l’ethics by design [l’idée d’intégrer les préoccupations éthiques dès la conception d’un produit – ndlr], c’est qu’il faut être un peu dans le cambouis si on veut mettre en place des garde-fous au bon niveau. Cela ne peut pas juste être des grands principes qui tombent du ciel.

On a le même problème sur la gouvernance de l’IA au sens plus large, quand on dit qu’on veut de l’IA "de confiance", de l’IA "responsable"… Mais un algorithme, ça n’est pas comme ça qu’on le crée ! Ce n’est pas en se posant ces questions-là.

Il y a toujours eu dans ce débat une espèce de dissociation entre le débat politique – qui essaie de rassurer les gens, de faire une démonstration de responsabilité, de sérieux, de légitimité de l’emploi de la force – et les aspects techniques qui sont des décisions de programmation informatique beaucoup plus concrètes que ça.

Dans une note récente pour l’Ifri, vous rappelez que ces normes techniques qui encadrent les systèmes d’IA sont élaborées dans des organisations pas spécialement démocratiques, où le ticket d’entrée est souvent la somme que l’on peut se permettre de payer…

Exactement. Avec de l’entrisme de grands acteurs du numérique, à la fois américains et chinois. C’est comme cela que se construisent les normes techniques – et pas du tout en fonction de ce qu’en a dit le Comité d’éthique de la défense.

Vous plaidez vous-même pour une interdiction, à l’échelle internationale, des systèmes d’armes létaux autonomes.

Je pense qu’il y a une distinction à faire entre des usages de l’IA dans le monde militaire qui ne posent pas de problème – dans la logistique, la maintenance, ce genre de choses – et les missions vraiment létales, et encore plus autonomes. Ça, c’est vraiment le bout du bout de ce qu’on peut faire avec de l’IA.

Si on y réfléchit deux secondes, on comprend que ça n’est souhaitable pour personne. Il ne faut pas aller dans le sens de ce genre de technologie, parce qu’on ne sait pas si on a la capacité d’en assurer le contrôle, parce qu’on sait que ça risque d’avoir un potentiel d’escalade très important, et d’échapper au contrôle à la fois humain, politique et international.

Cette interdiction des armes létales autonomes a-t-elle des chances d’advenir ?

Malheureusement, ça n’est pas vraiment à la mode… Les États-Unis et le Royaume-Uni n’ont pas signé la "déclaration sur l’IA" du sommet qui s’est tenu récemment à Paris, alors qu’il s’agit d’un texte qui n’avait rien d’engageant. On était sur des bons sentiments, comme "il faut que l’IA profite à tous"… Si même ça, ça n’a pas été signé par tout le monde, je vois mal comment une interdiction juridiquement contraignante pourrait advenir actuellement.

Mais ce qui me rend optimiste, c’est que, par le passé, il y a tout de même eu des cas… Le nucléaire a fait l’objet d’une régulation très contraignante, très restrictive, alors que c’était un contexte très tendu sur le plan international. Avec une rivalité comparable à ce qu’on observe actuellement avec la rivalité sino-américaine. Donc ça n’est pas impossible.

Si on prend le chemin d’une interdiction ferme de systèmes entièrement autonomes, cela supposera de mettre en place des mécanismes de vérification et de sanction qui n’existent pas vraiment à l’heure actuelle. Il faudra inventer de nouvelles procédures, de nouveaux outils techniques – pour, par exemple, mesurer le niveau d’autonomie d’un algorithme, mettre des garde-fous en termes de temps donné à l’humain pour prendre la décision…

Des propositions sont faites sur le modèle de l’Organisation pour l’interdiction des armes chimiques. De la même manière que certains produits chimiques sont sous embargo – personne n’a la possibilité de les utiliser… On pourrait imaginer ce genre de choses pour les algorithmes, par exemple.

En novembre 2023, 164 États (5 contre, 8 abstentions) ont voté contre l'usage des "armes autonomes" à l'Assemblée générale de l'ONU (résolution L.56). Une campagne internationale est engagée par le collectif Stop Killer Robots.