Justice prédictive par IA : contestation à Amsterdam, et en France ?

Le col­lec­tif néer­landais Bits of Free­dom (mem­bre de l’EDRi, Euro­pean Dig­i­tal Rights) a con­testé un pro­jet munic­i­pal qui utilise une IA pour faire de la jus­tice pré­dic­tive (pro­gramme Ams­ter­dam Top400). Il remet en cause ce pro­gramme pour vio­la­tions des droits de l’en­fant, non respect de la loi sur la pro­tec­tion des don­nées et des lib­ertés fon­da­men­tales.

En France, si ce type de pro­gramme ne sem­ble pas relever des munic­i­pal­ités, la ten­ta­tion d’une jus­tice pilotée par l’IA existe aus­si, un rap­port a d’ailleurs été remis en juin 2025 (voir encadré à la fin de l’ar­ti­cle).

Amsterdam Top400

En 2015, la munic­i­pal­ité d’Am­s­ter­dam a créé Top400, un pro­gramme de préven­tion de la délin­quance ciblant des jeunes, en com­plé­ment de Top600 , une liste de 600 jeunes récidi­vistes auteurs de crimes graves. Con­traire­ment à Top600, l’in­scrip­tion sur la liste de Top400 ne néces­si­tait pas de con­damna­tion pénale.

Des enfants pou­vaient être ajoutés à la liste en fonc­tion d’un large éven­tail de critères, notam­ment le fait d’être soupçon­né d’une infrac­tion pénale, d’avoir changé fréquem­ment d’é­cole, d’être vic­times ou témoins de vio­lence domes­tique ou d’autres crimes, ou d’être frères et sœurs d’une per­son­ne fig­u­rant sur la liste Top600.

Pen­dant deux ans, un algo­rithme a servi à sélec­tion­ner des jeunes. Une fois inscrits, ces enfants étaient étroite­ment sur­veil­lés par la munic­i­pal­ité, la police, l’é­cole, des “ani­ma­teurs de rue” et des dizaines d’autres parte­naires. 

Le pro­gramme, à la croisée de la prise en charge et de la répres­sion, fonc­tion­nait comme un sys­tème de sur­veil­lance et de con­trôle, entraî­nant la stig­ma­ti­sa­tion des jeunes et une méfi­ance accrue envers les insti­tu­tions. Mal­gré son impact, il n’a jamais fait l’ob­jet d’une éval­u­a­tion adéquate du point de vue de la com­mu­nauté con­cernée.

Réunir différents types d’expertise

Une coali­tion s’est for­mée afin d’en con­tester les effets. Elle a rassem­blé dif­férentes organ­i­sa­tions et des per­son­nes aux exper­tis­es var­iées, aux côtés des com­mu­nautés affec­tées. Fair Tri­als a apporté son éclairage sur l’u­til­i­sa­tion de listes sim­i­laires au Roy­aume-Uni. Con­t­role Alt Delete a égale­ment par­ticipé, en faisant part du point de vue des jeunes Néer­landais vic­times de har­cèle­ment polici­er. Les avo­cats du Pub­lic Inter­est Lit­i­ga­tion Project (PILP) et la chercheuse Fieke Jansen ont lancé une enquête en ver­tu de la loi sur la lib­erté d’in­for­ma­tion (FOIA). Grâce à cette enquête, la coali­tion a pu accéder à des doc­u­ments de poli­tique générale et com­pren­dre le fonc­tion­nement prévu du pro­gramme par la munic­i­pal­ité, ain­si que ses impacts et ses con­séquences néfastes.

Les résul­tats de l’en­quête menée en ver­tu de la loi sur la lib­erté d’in­for­ma­tion (FOIA) ont été pub­liés dans un rap­port, dif­fusé simul­tané­ment avec le doc­u­men­taire “Moth­ers” réal­isé par Nir­it Peled, jour­nal­iste et doc­u­men­tariste. Cette ini­tia­tive a per­mis de max­imiser l’im­pact médi­a­tique. Le rap­port et le doc­u­men­taire ont tous deux mis en lumière l’in­jus­tice et les malver­sa­tions de la munic­i­pal­ité d’Am­s­ter­dam, ain­si que leurs con­séquences sur la vie des enfants et de leurs familles. Le maire, quant à lui, a con­tin­ué de défendre le pro­jet dans les médias et sem­blait refuser de met­tre fin à ces pra­tiques illé­gales.

Face à cette résis­tance, nous avons décidé d’ex­plor­er les pos­si­bil­ités de recours con­tentieux , en nous appuyant sur une analyse juridique pré­parée par un avo­cat de notre coali­tion. Résul­tat : nous pou­vions pour­suiv­re la munic­i­pal­ité pour plusieurs vio­la­tions du Règle­ment général sur la pro­tec­tion des don­nées (RGPD), ain­si que de la Con­ven­tion rel­a­tive aux droits de l’en­fant et de l’ar­ti­cle 8 de la Con­ven­tion européenne des droits de l’homme.

Placer les personnes concernées au centre de la prise de décision

La mise en place d’un groupe con­sul­tatif com­posé de per­son­nes issues de la com­mu­nauté con­cernée était une con­di­tion préal­able indis­pens­able à la réal­i­sa­tion du pro­jet. PILP a pu s’en­tretenir avec plusieurs per­son­nes fig­u­rant par­mi les 400 béné­fi­ci­aires du pro­gramme et d’autres mem­bres de la com­mu­nauté.

Si beau­coup recon­nais­saient la néces­sité d’a­gir, ils hési­taient à s’im­pli­quer directe­ment ou à affich­er leur lien avec l’ini­tia­tive. Devenus adultes et ayant quit­té le pro­gramme, ils souhaitaient, à juste titre, tourn­er la page. Néan­moins, plusieurs per­son­nes ont finale­ment accep­té de par­ticiper à notre groupe con­sul­tatif.

Au cours de plusieurs réu­nions, nous avons expliqué la sit­u­a­tion juridique, les dif­férentes options pos­si­bles et leurs con­séquences. Les par­tic­i­pants ont ensuite partagé leurs expéri­ences et indiqué les prochaines étapes les plus utiles. 

Ces réu­nions se sont tenues entre chaque action entre­prise afin de garan­tir l’im­pli­ca­tion active des per­son­nes con­cernées dans l’élab­o­ra­tion de la stratégie. Très vite, il est apparu claire­ment que nom­bre d’en­tre eux vivaient encore avec des trau­ma­tismes, des douleurs et de la peur.

Nous avons décidé de pré­par­er une action en jus­tice con­tre la munic­i­pal­ité d’Am­s­ter­dam, avec Bits of Free­dom comme par­tie prenante, représen­tée par PILP.

Préparation au tribunal

Nous avons formelle­ment exhorté la munic­i­pal­ité à met­tre fin à la sur­veil­lance secrète par les accom­pa­g­na­teurs de rue, à cess­er le partage oblig­a­toire et général­isé d’in­for­ma­tions entre le directeur du pro­gramme et les écoles, à indem­nis­er finan­cière­ment les per­son­nes sélec­tion­nées par l’al­go­rithme et à pub­li­er une déc­la­ra­tion recon­nais­sant le car­ac­tère con­traire à l’éthique de cette pra­tique.

Dans sa réponse, la munic­i­pal­ité a par­tielle­ment accédé à deux de nos trois deman­des : elle a accep­té de met­tre fin à la sur­veil­lance secrète et de lim­iter le partage de don­nées avec les écoles. Elle a pro­posé d’élaborer de nou­veaux doc­u­ments afin de clar­i­fi­er sa posi­tion.

Mais lorsque les représen­tants du gou­verne­ment se sont ren­dus auprès de la maire pour obtenir son appro­ba­tion, celle-ci a refusé et a main­tenu sa posi­tion sur l’ap­proche du Top400. Selon elle, aucun acte illé­gal n’ayant été com­mis, un accord était impos­si­ble.

La procé­dure de règle­ment a été longue, mais elle a porté ses fruits : la munic­i­pal­ité a rédigé de nou­veaux doc­u­ments de poli­tique générale pour amélior­er les pra­tiques con­cer­nant les auto­cars et les écoles. Cepen­dant, elle n’a pas per­mis de remédi­er au préju­dice subi par les per­son­nes sélec­tion­nées par l’algorithme.

Changement de stratégie nécessaire

De ce fait, la procé­dure en jus­tice que nous con­sid­éri­ons aupar­a­vant très promet­teuse s’est retrou­vée avec peu de chances d’aboutir : le risque était réel qu’un juge estime les élé­ments insuff­isants pour stat­uer sur l’af­faire. Une défaite en jus­tice aurait pu avoir des con­séquences néga­tives plus impor­tantes, légiti­mant des pra­tiques sim­i­laires à Ams­ter­dam et ailleurs.

Nous avons donc éten­du notre action à la pro­tec­tion des droits de l’en­fant, notam­ment en ce qui con­cerne l’u­til­i­sa­tion de tech­nolo­gies telles que l’IA, une pri­or­ité absolue. La pra­tique du pro­fi­lage des citoyens, en par­ti­c­uli­er des enfants, par la munic­i­pal­ité d’Am­s­ter­dam s’in­scrit dans une ten­dance plus large où les gou­verne­ments utilisent des out­ils basés sur les don­nées pour jeter le soupçon sur des indi­vidus sans fonde­ment formel. Il nous faut soulign­er les con­séquences pour les enfants, les familles, notre société et l’É­tat de droit.

Nos conclusions

Au fil du temps, nous avons iden­ti­fié un cer­tain nom­bre d’idées qui ont ren­for­cé notre approche et qui pour­raient être utiles à d’autres explo­rant des pistes sim­i­laires :

• Le tra­vail en coali­tion nous a per­mis d’ abor­der le prob­lème sous dif­férents angles, en com­bi­nant les exper­tis­es et en divisant effi­cace­ment la charge de tra­vail.
• L’engagement d’une com­mu­nauté touchée exige du temps, de la trans­parence et un tra­vail de con­fi­ance durable, en par­ti­c­uli­er lorsque les com­mu­nautés ont déjà subi des préju­dices de la part d’institutions.
• Il est cru­cial de con­sul­ter les com­mu­nautés con­cernées à chaque étape du proces­sus.
• Il est impor­tant d’être atten­tif aux préoc­cu­pa­tions de la com­mu­nauté. Les gens craig­nent générale­ment d’en­gager des pour­suites judi­ci­aires et de par­ler aux médias, et beau­coup préfèrent oubli­er les expéri­ences douloureuses.

En défini­tive, ces leçons soulig­nent l’urgence de s’opposer fer­me­ment aux pra­tiques algo­rith­miques néfastes et de défendre les droits des per­son­nes les plus touchées.