Non à la reconnaissance faciale, non à la VSA ! Victoire à Moirans...

Nous avons lancé en décembre une pétition présentée ici NON à la VSA à Saint-Etienne (que vous pouvez signer en ligne).

Trois actualités vont dans le sens de ce combat :

  • La Quadrature du Net vient de gagner en Tribunal administratif face à la Mairie de Moirans et à l'éditeur du logiciel Briefcam qui utilise la reconnaissance faciale.
  • un rapport officiel a rendu un verdict - très critique - sur l'emploi de la VSA lors des JO de Paris.
  • une note d'analyse du collectif Nos Services Publics élargit le propos en prenant en compte tous les aspects de cette VSA (écologique, rapport aux libertés et aux choix humains...).

En 2015, la Mairie (soutenue par le 1e ministre de l'époque, Manuel Valls) a installé un système de vidéosurveillance couplé au logiciel de Briefcam (société israélienne) qui permet d’appliquer des filtres algorithmiques sur les images de vidéosurveillance pour suivre ou retrouver les personnes en fonction de leur apparence, leurs vêtement, leur genre ou encore leur visage via une option de reconnaissance faciale.

La Quadrature du net a attaqué devant le Tribunal administratif de Grenoble le dispositif de Moirans (commune des environs de Grenoble) : elle vient d'y faire reconnaître l’illégalité du logiciel de vidéosurveillance algorithmique de Briefcam et la cessation immédiate de son utilisation par cette commune.

Le 5 décembre 2024, la CNIL a mis en demeure le ministère de l’intérieur sur l'utilisation de ce logiciel par la police nationale en toute illégalité depuis 2015 (ainsi que l'a documenté le site Disclose). En attente de réponse...

Elle avait rendu public un 1e rapport le 28 octobre 2024 suite à des contrôles effectués depuis novembre 2023 dans quatre services du Ministère de l'Intérieur.

Elle a aussi lancé des mises en demeure à six communes qui l'utilisent, dont Saint-Denis, Reims et Brest.

Un "comité d'évaluation de l'expérimentation de la vidéosurveillance algorithmique dans le cadre des Jeux olympiques de Paris" a rendu un rapport le 14 janvier 2024 - non public, seulement "consulté" par des journalistes du Monde et de France Info... Il montre qu'un seul algorithme (Cityvision, de Wintics, alors que le ministère de l'Intérieur en avait retenu trois) a été testé, sur la moitié seulement des 8 cas d'usage autorisés après l'avis de la CNIL (n'ont pas été testés la détection de départs d’incendie, de chutes de personne ou d’armes à feu, ainsi que l’analyse d'images prises depuis des drones).

Les disfonctionnements de ces systèmes sont légion :

  • des vitrines éclairées, phares de voiture ou feux de circulation sont pris pour des incendies !
  • la détection de la "présence d'objets abandonnés" dans les gares et stations de métro n'est "pertinente" qu'à moins de 8% (un seul colis suspect aurait été identifié), 62 % des alertes étant des "faux positifs". Le logiciel "assimile le mobilier urbain (bancs, panneaux) ou les matériels de nettoyage (poubelles, seaux et machines de nettoyage) à des colis suspects", ainsi que des "personnes assises ou statiques, notamment des sans domicile fixe" !
  • la détection de "mouvements de foule" n'est pas plus opérationnelle : difficultés à comptabiliser un nombre d’individus trop resserrés car les caméras ne sont pas à la bonne hauteur ou trop proches du public (les corps n’étant alors pas entièrement visibles). Le logiciel peut estimer comme foule des groupes de personnes se déplaçant dans le même sens, sans précipitation particulière.
  • la VSA serait "moins efficace quand il y a peu d'éclairage", mais "plus pertinente dans les espaces clos ou semi-clos, notamment les couloirs du métro et les gares, par rapport aux résultats observés dans les espaces ouverts".

Les auteurs du rapport y écrivent que "le recours aux traitements algorithmiques mis en place dans le cadre de l'expérimentation s'est traduit par des performances techniques inégales, très variables en fonction des opérateurs et des cas d’usages, des contextes d’utilisation, ainsi que des caractéristiques techniques et du positionnement des caméras".

Pour eux, "l'évaluation ne saurait donc proposer de bilan sur la pertinence de la VSA, ni se prononcer sur l'opportunité de la poursuivre ou pas (...). Une vigilance particulière s'impose (…) afin notamment de prévenir tout risque de détournement des finalités légales ou, plus fondamentalement, d’accoutumance au recours à une telle technologie à des fins de surveillance".

Ils prônent "L’interdiction de la reconnaissance faciale en dehors du contexte judiciaire, l’évaluation constante des enjeux pour les libertés publiques et les droits fondamentaux".

Sans même attendre ce rapport, Laurent Nuñez, préfet de police de Paris, Bruno Retailleau, ministère de l'Intérieur et Philippe Tabarot, ministre des Transports, se sont déjà prononcés en faveur d'une généralisation du dispositif...

Ce collectif, créé en 2021 par des agents de la fonction publique de l'État, des hôpitaux et des collectivités territoriale, veut faire émerger une vision alternative et moins gestionnaire des services publics. Il publie depuis lors divers rapports annuels très fouillés leur état (ex ceux de 2024 sur l'eau, le logement, le transport, la santé, l'éducation, le travail et l'emploi, la justice et la sécurité, le fonctionnement et le financement de ces services publics).

Le collectif a diffusé dans son blog sur le site de Médiapart une note d'analyse intitulée "Intelligence artificielle et vidéosurveillance : les jeux sont-ils faits ?". Elle s’appuie sur la réflexion menée lors de quatre ateliers organisés par le collectif en 2023 et 2024 avec divers spécialistes, sur l'analyse des textes normatifs et sur plusieurs enquêtes de médias indépendants.

Il relève que :

  • Les algorithmes d'IA sont susceptibles de reproduire des biais, notamment racistes ou sexistes : Ces problèmes naissent du manque de représentativité de certaines bases de données utilisées, mais aussi de la tendance des IA à généraliser à toute situation future les caractéristiques tirées des exemples "historiques" qui ont servi à l’entraîner. 
  • Les marges d’erreur sont très importantes : celles-ci entraînent une surreprésentation de certaines personnes au sein des alertes remontées par l’IA, par exemple les sans-abris ou les personnes exilé·es. Ces personnes pourraient faire l’objet d’une surveillance accrue et injustifiée.
  • Les chaînes de production de ces IA sont opaques et objet d'un "dumping éthique et social" : certains fournisseurs de l’Etat ont pu reprendre des données ou des algorithmes développés selon des modes et pour des finalités contraires au droit international ou au respect des libertés publiques (par exemple la société israélienne Briefcam, dont plusieurs enquêtes ont établi que ses applications de reconnaissance faciale étaient utilisées par l’armée israélienne à des fins de surveillance dès 2020 et pour décider de bombardements à partir de 2024, en violation du droit international et avec un nombre de victimes civiles élevé).
  • Une empreinte écologique très élevée et non documentée : l’entraînement des modèles et leur utilisation en continu impliquent des millions d’heures de calculs informatiques basés sur un nombre croissant de données. Ils génèrent  ainsi une consommation d’électricité et d’eau considérable, ainsi que l’impact souvent catastrophique de l’extraction minière des métaux rares nécessaires à leur fabrication. La loi ne prévoit aucune mesure d’impact écologique concernant la surveillance algorithmique. 
  • Un impact financier non maîtrisé : le montant des achats est de 8 millions d’€, le prix de la maintenance à long terme est mal évalué et pourrait réduire les moyens pour le recrutement ou le maintien d’agent.e.s.
  • Des risques portant sur la primauté humaine et l’explicabilité des décisions : le recours à l’IA pourrait entraîner des situations où "la surveillance d’une personne en viendra à être décidée selon des critères dont aucun humain ne connaîtra ni la teneur ni la pondération de façon certaineselon la commission nationale de contrôle des techniques de renseignement. Pour les auteurs, la loi JOP ne garantit pas les libertés, d'autant que les responsables actuels de l'Etat veulent favoriser des "champions français de l’IA dans le domaine de la sécurité", au détriment de sa population.