Les algorithmes prédictifs des polices européennes carburent au racisme et aux discriminations

L’or­gan­i­sa­tion de défense des lib­ertés civiles State­watch a pub­lié un rap­port qui révèle com­ment les autorités poli­cières et judi­ci­aires pénales de toute l’Eu­rope utilisent des sys­tèmes basés sur des don­nées, des algo­rithmes et de l’IA pour “prédire” où les crimes peu­vent se pro­duire et pro­fil­er les per­son­nes en tant que crim­inels, mal­gré l’in­ter­dic­tion appar­ente par l’UE des sys­tèmes dits de “police pré­dic­tive” du règle­ment sur l’in­tel­li­gence arti­fi­cielle (RIA ou AI act).

Cette étude démon­tre com­ment les groupes et com­mu­nautés mar­gin­al­isés en Europe sont ciblés et impactés de manière dis­pro­por­tion­née par ces sys­tèmes, notam­ment les per­son­nes et com­mu­nautés noires et racial­isées, les vic­times de vio­lences sex­istes, les migrants, les per­son­nes issues de milieux et de quartiers pop­u­laires et défa­vorisés, ain­si que les per­son­nes souf­frant de trou­bles men­taux.

State­watch est une organ­i­sa­tion bri­tanique créée en 1991, qui a mis en place des obser­va­toires européens sur dif­férents thèmes (immi­gra­tion et asile, indus­trie et admin­is­tra­tion sécu­ri­taires, covid et lib­ertés publiques…) qui pro­duisent des rap­ports réguliers.

Celui-ci – Nou­velles tech­nolo­gies, vieilles injus­tices : Dis­crim­i­na­tion et pro­fi­lage fondés sur les don­nées dans la police et les pris­ons en Europe – a été élaboré sur 6 mois en parte­nar­i­at avec des chercheurs tra­vail­lant avec Tech­nop­o­lice Bel­gique, La Ligue des droits humains et la Liga voor mensen­recht­en belges, La Quad­ra­ture du Net et le réseau Tech­nop­o­lice en France, Algo­rithmWatch en Alle­magne et Algo­Race en Espagne.

Le rap­port détaille com­ment ces sys­tèmes dits de “pré­dic­tion” de la crim­i­nal­ité s’in­tè­grent de plus en plus aux déci­sions et actions des autorités poli­cières et judi­ci­aires, et les influ­en­cent. De ce fait, des per­son­nes et des com­mu­nautés sont placées sous sur­veil­lance, soumis­es à des inter­roga­toires, des con­trôles d’i­den­tité, des perqui­si­tions, des perqui­si­tions domi­cil­i­aires, voire des arresta­tions.

Ces out­ils basés sur les don­nées, les algo­rithmes et l’IA influ­en­cent égale­ment les déci­sions pris­es tout au long du sys­tème judi­ci­aire pénal, de la déten­tion pro­vi­soire aux pour­suites, en pas­sant par la con­damna­tion et la pro­ba­tion. Hors du sys­tème judi­ci­aire pénal, ces soi-dis­ant “pré­dic­tions” et pro­fils con­duisent à des inter­dic­tions d’emploi, des restric­tions ou des refus d’ac­cès aux ser­vices essen­tiels, voire à des expul­sions.

Ces sys­tèmes utilisent des don­nées his­toriques, provenant par exem­ple de la police ou du sys­tème judi­ci­aire pénal. Cela reflète des biais his­toriques et exis­tants au sein de ces insti­tu­tions et de la société en général. Cela con­duit à une sur­veil­lance poli­cière exces­sive et à la crim­i­nal­i­sa­tion des com­mu­nautés mar­gin­al­isées, en par­ti­c­uli­er des groupes racial­isés, des migrants et des per­son­nes issues de quartiers pop­u­laires.

Le rap­port sou­tient que l’utilisation de ces sys­tèmes par la police et les autorités du sys­tème judi­ci­aire pénal :

• con­duit au pro­fi­lage racial et socio-économique, à la dis­crim­i­na­tion et à la crim­i­nal­i­sa­tion.
• a des con­séquences impor­tantes sur les droits des indi­vidus, notam­ment le droit à un procès équitable, au respect de la vie privée et à la pro­tec­tion con­tre la dis­crim­i­na­tion.
• sont délibéré­ment secrets et opaques, ce qui sig­ni­fie que leur util­i­sa­tion est ignorée. Le manque de trans­parence entourant le développe­ment, la for­ma­tion et l’u­til­i­sa­tion opéra­tionnelle de ces sys­tèmes con­stitue un obsta­cle fon­da­men­tal à la jus­tice et à la respon­s­abil­ité.

State­watch appelle à une inter­dic­tion de l’u­til­i­sa­tion de sys­tèmes de “pré­dic­tion” et de pro­fi­lage de la crim­i­nal­ité, et demande aux lég­is­la­tures nationales et locales d’adopter une inter­dic­tion légale con­tre leur util­i­sa­tion.

Le rap­port (en anglais)