Non à la reconnaissance faciale, non à la VSA ! Victoire à Moirans…

Nous avons lancé en décem­bre une péti­tion présen­tée ici NON à la VSA à Saint-Eti­enne (que vous pou­vez sign­er en ligne).

Trois actu­al­ités vont dans le sens de ce com­bat :

• La Quad­ra­ture du Net vient de gag­n­er en Tri­bunal admin­is­tratif face à la Mairie de Moirans et à l’édi­teur du logi­ciel Brief­cam qui utilise la recon­nais­sance faciale.
• un rap­port offi­ciel a ren­du un ver­dict – très cri­tique – sur l’emploi de la VSA lors des JO de Paris.
• une note d’analyse du col­lec­tif Nos Ser­vices Publics élar­git le pro­pos en prenant en compte tous les aspects de cette VSA (écologique, rap­port aux lib­ertés et aux choix humains…).

Vic­toire de La Quad­ra­ture con­tre Brief­cam à Moirans

En 2015, la Mairie (soutenue par le 1^e min­istre de l’époque, Manuel Valls) a instal­lé un sys­tème de vidéo­sur­veil­lance cou­plé au logi­ciel de Brief­cam (société israéli­enne) qui per­met d’appliquer des fil­tres algo­rith­miques sur les images de vidéo­sur­veil­lance pour suiv­re ou retrou­ver les per­son­nes en fonc­tion de leur apparence, leurs vête­ment, leur genre ou encore leur vis­age via une option de recon­nais­sance faciale.

La Quad­ra­ture du net a attaqué devant le Tri­bunal admin­is­tratif de Greno­ble le dis­posi­tif de Moirans (com­mune des envi­rons de Greno­ble) : elle vient d’y faire recon­naître l’illé­gal­ité du logi­ciel de vidéo­sur­veil­lance algo­rith­mique de Brief­cam et la ces­sa­tion immé­di­ate de son util­i­sa­tion par cette com­mune.

Bilan de l’usage de la VSA pen­dant les JO de Paris 2024

Un “comité d’é­val­u­a­tion de l’ex­péri­men­ta­tion de la vidéo­sur­veil­lance algo­rith­mique dans le cadre des Jeux olympiques de Paris” a ren­du un rap­port le 14 jan­vi­er 2024 - non pub­lic, seule­ment “con­sulté” par des jour­nal­istes du Monde et de France Info… Il mon­tre qu’un seul algo­rithme (Cityvi­sion, de Win­tics, alors que le min­istère de l’In­térieur en avait retenu trois) a été testé, sur la moitié seule­ment des 8 cas d’usage autorisés après l’avis de la CNIL (n’ont pas été testés la détec­tion de départs d’incendie, de chutes de per­son­ne ou d’armes à feu, ain­si que l’analyse d’im­ages pris­es depuis des drones).

Les dis­fonc­tion­nements de ces sys­tèmes sont légion :

• des vit­rines éclairées, phares de voiture ou feux de cir­cu­la­tion sont pris pour des incendies !
• la détec­tion de la “présence d’ob­jets aban­don­nés” dans les gares et sta­tions de métro n’est “per­ti­nente” qu’à moins de 8% (un seul col­is sus­pect aurait été iden­ti­fié), 62 % des alertes étant des “faux posi­tifs”. Le logi­ciel “assim­i­le le mobili­er urbain (bancs, pan­neaux) ou les matériels de net­toy­age (poubelles, seaux et machines de net­toy­age) à des col­is sus­pects”, ain­si que des “per­son­nes assis­es ou sta­tiques, notam­ment des sans domi­cile fixe” !
• la détec­tion de “mou­ve­ments de foule” n’est pas plus opéra­tionnelle : dif­fi­cultés à compt­abilis­er un nom­bre d’indi­vidus trop resser­rés car les caméras ne sont pas à la bonne hau­teur ou trop proches du pub­lic (les corps n’étant alors pas entière­ment vis­i­bles). Le logi­ciel peut estimer comme foule des groupes de per­son­nes se déplaçant dans le même sens, sans pré­cip­i­ta­tion par­ti­c­ulière.
• la VSA serait “moins effi­cace quand il y a peu d’é­clairage”, mais “plus per­ti­nente dans les espaces clos ou semi-clos, notam­ment les couloirs du métro et les gares, par rap­port aux résul­tats observés dans les espaces ouverts”.

Les auteurs du rap­port y écrivent que “le recours aux traite­ments algo­rith­miques mis en place dans le cadre de l’ex­péri­men­ta­tion s’est traduit par des per­for­mances tech­niques iné­gales, très vari­ables en fonc­tion des opéra­teurs et des cas d’usages, des con­textes d’utilisation, ain­si que des car­ac­téris­tiques tech­niques et du posi­tion­nement des caméras”.

Pour eux, “l’é­val­u­a­tion ne saurait donc pro­pos­er de bilan sur la per­ti­nence de la VSA, ni se pronon­cer sur l’op­por­tu­nité de la pour­suiv­re ou pas (…). Une vig­i­lance par­ti­c­ulière s’im­pose (…) afin notam­ment de prévenir tout risque de détourne­ment des final­ités légales ou, plus fon­da­men­tale­ment, d’accoutumance au recours à une telle tech­nolo­gie à des fins de sur­veil­lance”.

Ils prô­nent “L’inter­dic­tion de la recon­nais­sance faciale en dehors du con­texte judi­ci­aire, l’évaluation con­stante des enjeux pour les lib­ertés publiques et les droits fon­da­men­taux”.

Sans même atten­dre ce rap­port, Lau­rent Nuñez, préfet de police de Paris, Bruno Retail­leau, min­istère de l’In­térieur et Philippe Tabarot, min­istre des Trans­ports, se sont déjà pronon­cés en faveur d’une général­i­sa­tion du dis­posi­tif…

Bilan de cet usage de la VSA par le col­lec­tif “Nos Ser­vices publics”

Ce col­lec­tif, créé en 2021 par des agents de la fonc­tion publique de l’É­tat, des hôpi­taux et des col­lec­tiv­ités ter­ri­to­ri­ale, veut faire émerg­er une vision alter­na­tive et moins ges­tion­naire des ser­vices publics. Il pub­lie depuis lors divers rap­ports annuels très fouil­lés leur état (ex ceux de 2024 sur l’eau, le loge­ment, le trans­port, la san­té, l’é­d­u­ca­tion, le tra­vail et l’emploi, la jus­tice et la sécu­rité, le fonc­tion­nement et le finance­ment de ces ser­vices publics).

Le col­lec­tif a dif­fusé dans son blog sur le site de Médi­a­part une note d’analyse inti­t­ulée “Intel­li­gence arti­fi­cielle et vidéo­sur­veil­lance : les jeux sont-ils faits ?”. Elle s’appuie sur la réflex­ion menée lors de qua­tre ate­liers organ­isés par le col­lec­tif en 2023 et 2024 avec divers spé­cial­istes, sur l’analyse des textes nor­mat­ifs et sur plusieurs enquêtes de médias indépen­dants.

Il relève que :

• Les algo­rithmes d’IA sont sus­cep­ti­bles de repro­duire des biais, notam­ment racistes ou sex­istes : Ces prob­lèmes nais­sent du manque de représen­ta­tiv­ité de cer­taines bases de don­nées util­isées, mais aus­si de la ten­dance des IA à généralis­er à toute sit­u­a­tion future les car­ac­téris­tiques tirées des exem­ples “his­toriques” qui ont servi à l’entraîner. 
• Les marges d’erreur sont très impor­tantes : celles-ci entraî­nent une sur­représen­ta­tion de cer­taines per­son­nes au sein des alertes remon­tées par l’IA, par exem­ple les sans-abris ou les per­son­nes exilé·es. Ces per­son­nes pour­raient faire l’objet d’une sur­veil­lance accrue et injus­ti­fiée.
• Les chaînes de pro­duc­tion de ces IA sont opaques et objet d’un “dump­ing éthique et social” : cer­tains four­nisseurs de l’Etat ont pu repren­dre des don­nées ou des algo­rithmes dévelop­pés selon des modes et pour des final­ités con­traires au droit inter­na­tion­al ou au respect des lib­ertés publiques (par exem­ple la société israéli­enne Brief­cam, dont plusieurs enquêtes ont établi que ses appli­ca­tions de recon­nais­sance faciale étaient util­isées par l’armée israéli­enne à des fins de sur­veil­lance dès 2020 et pour décider de bom­barde­ments à par­tir de 2024, en vio­la­tion du droit inter­na­tion­al et avec un nom­bre de vic­times civiles élevé).
• Une empreinte écologique très élevée et non doc­u­men­tée : l’entraînement des mod­èles et leur util­i­sa­tion en con­tinu impliquent des mil­lions d’heures de cal­culs infor­ma­tiques basés sur un nom­bre crois­sant de don­nées. Ils génèrent  ain­si une con­som­ma­tion d’électricité et d’eau con­sid­érable, ain­si que l’impact sou­vent cat­a­strophique de l’extraction minière des métaux rares néces­saires à leur fab­ri­ca­tion. La loi ne prévoit aucune mesure d’impact écologique con­cer­nant la sur­veil­lance algo­rith­mique. 
• Un impact financier non maîtrisé : le mon­tant des achats est de 8 mil­lions d’€, le prix de la main­te­nance à long terme est mal éval­ué et pour­rait réduire les moyens pour le recrute­ment ou le main­tien d’agent.e.s.
• Des risques por­tant sur la pri­mauté humaine et l’explicabilité des déci­sions : le recours à l’IA pour­rait entraîn­er des sit­u­a­tions où “la sur­veil­lance d’une per­son­ne en vien­dra à être décidée selon des critères dont aucun humain ne con­naî­tra ni la teneur ni la pondéra­tion de façon cer­taine” selon la com­mis­sion nationale de con­trôle des tech­niques de ren­seigne­ment. Pour les auteurs, la loi JOP ne garan­tit pas les lib­ertés, d’au­tant que les respon­s­ables actuels de l’E­tat veu­lent favoris­er des “cham­pi­ons français de l’IA dans le domaine de la sécu­rité”, au détri­ment de sa pop­u­la­tion.